JP4222380B2

JP4222380B2 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP4222380B2
Application number: JP2006109369A
Authority: JP
Inventors: 陽徳永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-04-12
Filing date: 2006-04-12
Publication date: 2009-02-12
Anticipated expiration: 2026-04-12
Also published as: JP2007282154A; US7957593B2; US20070286452A1

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、無効領域と有効領域とを含む画像において有効領域を正確に検出することができるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

黒帯検出（レターボックス検出）を行う技術は、例えば、１６：９のワイドテレビジョン画面信号を、４：３の通常のテレビジョン画面に表示する場合に用いられる。このとき、画面の上下に黒帯が生じるので、その位置を見て黒帯検出が行われる。しかし、このような手法では、黒帯の位置検出は行っていない。また、正確に黒帯位置を検出する技術が提案されているが、これは黒帯が矩形であることを前提として検出するものである。

画面の１フレームで矩形の黒帯の領域を検出するものとして、現フレームにおいて、１ライン分の画像データを加算し、その合計値でラインごとに黒帯であるか否かの判定を行うようにしたものがある（例えば、特許文献１参照）。

また、水平領域をブロック分割し、平均値などの代表値でエッジ検出を行うことにより有効領域の検出を行うようにしたものがある（例えば、特許文献２参照）。

また、さらに、水平期間の平均輝度を用いて黒帯検出を行うようにしたものがある（例えば、特許文献３参照）。

特開２００４−１６３８０９号公報特開平１０−１７８５９８号公報特開平１１−２３４６３１号公報

しかしながら、特許文献１に開示されている手法では、例えば、図１に示すようなクロスハッチ信号が入力された際、白色部分が少ないため、端の部分が黒帯領域であると誤検出されてしまう。これを防ぐために、判定閾値を大きくするとグレイレベルの有効領域が黒帯領域であると誤検出されてしまう。

また、特許文献２に開示されている手法では、特許文献１に開示されている手法と同様に、例えば、図１に示すようなクロスハッチ信号が入力された際、白色部分が少ないため、ブロックの代表値算出において黒領域であると誤検出されてしまう。さらに、分割されたブロックによっては、黒い部分のみのブロックが存在する可能性があり、クロスハッチ信号の端の部分だけでなく、その部分に対しても誤検出が発生してしまう。

さらに、特許文献３に開示されている手法では、上述した手法と同様に、例えば、クロスハッチ信号などの黒以外の領域が少ない信号に対して、誤検出が発生してしまう。また、誤検出を防ぐために、閾値を大きくするとグレイレベルの有効領域が黒帯領域であると誤検出されてしまう。

また、上述した手法では、映画の回想シーン等におけるハート形や図２に示すような吹き出し形などの映像が入力された場合、回想シーンと同形のパネルに拡大したり、矩形のパネルに最大限に拡大したりすることはできない。また、オートワイド機能のような、これらの映像を矩形に拡大する場合でも、誤検出が発生してしまうため、正確に拡大することはできない。

具体的には、上述した手法では、図１に示すクロスハッチ信号は、例えば、図３に示すように、クロスハッチ信号の周りの部分が黒帯領域であると誤検出される。図３において、周りの白い部分が黒帯領域であると検出された部分である。また、図２に示す吹き出し形の画像信号は、例えば、図４に示すように、左下の吹き出しの先端部分が黒帯領域であると誤検出される。図４において、周りの白い部分が黒帯領域であると検出された部分である。

本発明は、このような状況に鑑みてなされたものであり、例えば、黒領域である無効領域と任意の形状の有効領域とを含む画像において、無効領域以外の有効領域を正確に検出することができるようにするものである。

本発明の第１の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置の信頼度を計算する信頼度計算手段と、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する特定手段とを備える。

前記左座標位置検出手段には、前記第１の閾値と画素の画素値とが比較されるとともに、第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の前記座標上の位置を検出させ、前記右座標位置検出手段には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出させ、前記上座標位置検出手段には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出させ、前記下座標位置検出手段には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出させることができる。

本発明の第１の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定するステップを含む。

本発明の第１の側面のプログラムおよび第１の側面の記録媒体に記録されるプログラムは、有意の領域である有効領域とその他の領域である無効領域とからなる画像に関する処理を、コンピュータに行わせるプログラムであって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定するステップを含む。
本発明の第２の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とする最左座標位置決定手段と、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とする最右座標位置決定手段と、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とする最上座標位置決定手段と、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とする最下座標位置決定手段と、決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定する矩形有効領域座標決定手段とを備える。
本発明の第２の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とし、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とし、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とし、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とし、決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定するステップを含む。
本発明の第３の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とする左座標位置最適化手段と、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とする右座標位置最適化手段と、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とする上座標位置最適化手段と、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とする下座標位置最適化手段とを備える。
本発明の第３の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とし、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とし、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とし、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とするステップを含む。

本発明の第１の側面においては、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置が検出され、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置が検出され、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置が検出され、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置が検出され、検出された画素の座標上の位置に沿った部分の、有意な画素の割合に応じて、画素の座標上の位置の信頼度が計算され、画像における所定のフレーム、および、所定のフレームと時間的に異なる複数のフレームについての信頼度のうち、最も信頼度の高いフレームの画素の座標上の位置が、有効領域の画素の座標として特定される。
本発明の第２の側面においては、無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、右端の画素の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、上端の画素の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、下端の画素の座標上の位置が検出され、水平方向の列ごとに検出された左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置が最も左の位置とされ、水平方向の列ごとに検出された右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、右から２番目の位置が最も右の位置とされ、垂直方向の列ごとに検出された上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、上から２番目の位置が最も上の位置とされ、垂直方向の列ごとに検出された下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が第２の閾値より大きい場合、下から２番目の位置が最も下の位置とされ、決定された最も左の画素の位置、最も右の画素の位置、最も上の画素の位置、および最も下の画素の位置より、画像における矩形である有効領域の座標上の位置が決定される。
本発明の第３の側面においては、無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、右端の画素の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、上端の画素の座標上の位置が検出され、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、下端の画素の座標上の位置が検出され、水平方向の列ごとに検出された左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値が最も左の位置とされるとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値が最も右の位置とされ、水平方向の列ごとに検出された右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値が最も左の位置とされるとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値が最も右の位置とされ、垂直方向の列ごとに検出された上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値が最も上の位置とされるとともに、最も下の画素の位置と下から２番目の画素の位置との差分が第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値が最も下の位置とされ、垂直方向の列ごとに検出された下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値が最も上の位置とされるとともに、最も下の画素の位置と下から２番目の画素の位置との差分が第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値が最も下の位置とされる。

以上のように、本発明の第１乃至第３の側面によれば、入力された画像を処理することができる。また、本発明の一側面によれば、無効領域と任意の形状の有効領域とを含む画像において、無効領域以外の有効領域を正確に検出することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の第１の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段（例えば、図９の左座標位置検出部６４）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段（例えば、図９の右座標位置検出部６５）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段（例えば、図９の上座標位置検出部６６）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段（例えば、図９の下座標位置検出部６７）と、前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置の信頼度を計算する信頼度計算手段（例えば、図５のフレーム内信頼度計算部１３）と、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する特定手段（例えば、図５の前フレーム比較部１９、または、後フレーム比較部２０）とを備える。

前記左座標位置検出手段には（例えば、図９の左座標位置検出部６４）、前記第１の閾値と画素の画素値とが比較されるとともに、第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の前記座標上の位置を検出させ、前記右座標位置検出手段（例えば、図９の右座標位置検出部６５）には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出させ、前記上座標位置検出手段（例えば、図９の上座標位置検出部６６）には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出させ、前記下座標位置検出手段（例えば、図９の下座標位置検出部６７）には、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出させることができる。

本発明の第１の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し（例えば、図１１のステップＳ１０４）、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０５）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０９）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１１０）、検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し（例えば、図７のステップＳ３）、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する（例えば、図７のステップＳ４）ステップを含む。

本発明の第１の側面のプログラムおよび第１の側面の記録媒体に記録されるプログラムは、有意の領域である有効領域とその他の領域である無効領域とからなる画像に関する処理を、コンピュータに行わせるプログラムであって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し（例えば、図１１のステップＳ１０４）、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０５）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０９）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１１０）、検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し（例えば、図７のステップＳ３）、前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する（例えば、図７のステップＳ４）ステップを含む。
本発明の第２の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段（例えば、図９の左座標位置検出部６４）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段（例えば、図９の右座標位置検出部６５）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段（例えば、図９の上座標位置検出部６６）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段（例えば、図９の下座標位置検出部６７）と、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とする最左座標位置決定手段（例えば、図２５の最左座標位置決定部１２１）と、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とする最右座標位置決定手段（例えば、図２５の最右座標位置決定部１２２）と、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とする最上座標位置決定手段（例えば、図２５の最上座標位置決定部１２３）と、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とする最下座標位置決定手段（例えば、図２５の最下座標位置決定部１２４）と、決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定する矩形有効領域座標決定手段（例えば、図２４の矩形有効領域座標位置決定部１０１）とを備える。
本発明の第２の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し（例えば、図１１のステップＳ１０４）、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０５）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０９）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１１０）、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とし（例えば、図２７のステップＳ１１１３）、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とし（例えば、図２７のステップＳ１１１４）、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とし（例えば、図２７のステップＳ１１１５）、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とし（例えば、図２７のステップＳ１１１６）、決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定するステップを含む。
本発明の第３の側面の画像処理装置は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段（例えば、図９の左座標位置検出部６４）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段（例えば、図９の右座標位置検出部６５）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段（例えば、図９の上座標位置検出部６６）と、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段（例えば、図９の下座標位置検出部６７）と、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とする左座標位置最適化手段（例えば、図３５の左座標位置最適化部１８１）と、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とする右座標位置最適化手段（例えば、図３５の右座標位置最適化部１８２）と、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とする上座標位置最適化手段（例えば、図３５の上座標位置最適化部１８３）と、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とする下座標位置最適化手段（例えば、図３５の下座標位置最適化部１８４）とを備える。
本発明の第３の側面の画像処理方法は、有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法であって、前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し（例えば、図１１のステップＳ１０４）、前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０５）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１０９）、前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し（例えば、図１１のステップＳ１１０）、水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とし（例えば、図３７のステップＳ２１１３，Ｓ２１１４）、水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とし（例えば、図３７のステップＳ２１１５，Ｓ２１１６）、垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とし（例えば、図３７のステップＳ２１１７，Ｓ２１１８）、垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とする（例えば、図３７のステップＳ２１１９，Ｓ２１２０）ステップを含む。

図５は、本発明を適用した有効領域検出装置１の一実施の形態の構成を示す図である。

有効領域検出装置１は、処理対象とする１フレームの画像データについて、その前後のフレームの情報を用いて、無効領域である黒領域と有効領域とを含む画像の有効領域を検出する。

ここで、有効領域とは、有意の領域である。例えば、有効領域には、意味のある画像が表示される。また、無効領域とは、その領域自身の画像が有意でない領域である。例えば、無効領域は、黒だけが表示される黒領域である。なお、有効領域の外縁が特定の形状を有する場合、無効領域の形状そのものも、この特定の形状となり、その意味では有意であるが、無効領域自身には、意味のある画像は表示されないので、その意味でこれを無効領域と称する。

有効領域検出装置１は、前処理用フレームバッファ１１、フレーム内座標位置決定部１２、フレーム内信頼度計算部１３、後フレームバッファ１４，１５、処理対象フレームバッファ１６、前フレームバッファ１７，１８、前フレーム比較部１９、後フレーム比較部２０、および比較結果判定部２１から構成される。

前処理用フレームバッファ１１は、供給されてくる１フレーム分の画素の画素値からなる画像データを、前処理用に一時的に記憶し、フレーム内座標位置決定部１２、およびフレーム内信頼度計算部１３に供給すると共に、１フレーム分の処理が終了した後、後フレームバッファ１４に出力する。

フレーム内座標位置決定部１２は、前処理用フレームバッファ１１に格納されている１フレーム分の画像の画素値の情報に基づいて、有効領域を示す座標の位置を決定する。より具体的には、フレーム内座標位置決定部１２は、フレーム上の水平方向の画素のラインである横ラインから、横ライン毎の黒領域と有効領域との境界となる有効領域の画素の左座標の位置および右座標の位置を求めると共に、フレーム上の垂直方向のラインである縦ラインから、縦ライン毎の黒領域と有効領域との境界となる有効領域の画素の上座標の位置および下座標の位置を求める。フレーム内座標位置決定部１２は、結果として得られる、有効領域を示す座標を、フレーム内信頼度計算部１３および後フレームバッファ１４に供給する。

フレーム内信頼度計算部１３は、フレーム内座標位置決定部１２により決定された有効領域の座標の情報に基づいて、その信頼度を計算する。より具体的には、フレーム内信頼度計算部１３は、フレーム内座標位置決定部１２より供給された有効領域の画素の座標の位置に沿って、黒領域と有効領域との境界部分の、黒領域側の画素の黒の割合と、有効領域側の画素の黒以外の割合に基づいて、信頼度を計算する。フレーム内信頼度計算部１３は、計算された信頼度を、後フレームバッファ１４に供給する。

後フレームバッファ１４は、前処理用フレームバッファ１１より供給されてきた１フレーム分の画像データを各画素の画素値の情報として記憶すると共に、新たな１フレームの画像データが供給されてくるとき、それまでに記憶していた１フレーム分の画像データを後フレームバッファ１５に供給する。

後フレームバッファ１５、処理対象フレームバッファ１６、前フレームバッファ１７，１８は、後フレームバッファ１４と同様のものであり、１フレーム分の画像データを順次スライドして供給する。ただし、前フレームバッファ１８については、新たな１フレーム分の画像データが供給されてくるとき、それまでに記憶していた１フレーム分の画像データを消去する。このような構成により、処理対象フレームバッファ１６に、例えば、ｎ番目のフレーム（以降、フレーム（ｎ）と称する）が格納されている場合、後フレームバッファ１４，１５には、それぞれフレーム（ｎ＋２）およびフレーム（ｎ＋１）の画像データ、有効領域の座標、および有効領域の信頼度の情報が記憶されており、同様にして、前フレームバッファ１７，１８には、それぞれフレーム（ｎ−１）およびフレーム（ｎ−２）の画像データ、有効領域の座標、および有効領域の信頼度の情報が記憶されていることになる。

したがって、この状態において、１フレーム分の処理が終了するとき、後フレームバッファ１４には、前処理フレームバッファ１１より１フレーム分の画像データが供給されると共に、フレーム内座標位置決定部１２より有効領域の座標が供給され、さらに、フレーム内信頼度計算部１３より有効領域の座標の信頼度が供給される。また、同時に、後フレームバッファ１５、処理対象フレームバッファ１６、前フレームバッファ１７，１８には、それぞれ直前のタイミングで、後フレームバッファ１４，１５、および処理対象フレームバッファ１６、および前フレームバッファ１７に記憶されていた１フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報が供給されてきて、それぞれ上書きされる。

すなわち、この例においては、処理対象フレームバッファ１６に記憶されている１フレーム分の画像データにおける有効領域の座標を正しく求めるために、前後の２フレーム分の画像データを併せた、合計５フレーム分の画像データが常に用いられる。

前フレーム比較部１９は、処理対象フレームバッファ１６、および前フレームバッファ１７，１８に記憶されている３フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を比較し、いずれかを正しい有効領域の座標として特定する処理を実行し、処理結果を比較結果判定部２１に供給する。具体的には、前フレーム比較部１９は、処理対象フレームの画像データと、１フレーム前の画像データまたは２フレーム前の画像データとの信頼度の比較をすると共に、処理対象フレームの画像データと、１フレーム前の画像データまたは２フレーム前の画像データとの有効領域の座標が類似しているか否かを判定する。前フレーム比較部１９は、信頼度の比較結果と座標の類似の判定結果に基づいて、有効領域の座標を特定し、比較結果判定部２１に供給する。ただし、前フレーム比較部１９は、必ずしも正しいと特定できる有効領域を求められないことがある。

比較結果判定部２１は、前フレーム比較部１９より有効領域の位置が求められた場合、その処理結果を正しい処理対象フレームの有効領域の座標、および有効領域の信頼度として出力すると共に、処理対象フレームバッファ１６に記憶されている有効領域の座標、および有効領域の信頼度を決定された値に更新する。また、比較結果判定部２１は、前フレーム比較部１９により有効領域の位置が求められなかった場合、後フレーム比較部２０に対して、後フレームバッファ１４，１５、および処理対象フレームバッファ１６の３フレーム分の画像データ、有効領域の座標、および有効領域の信頼度に基づいて、有効領域を求めるように要求し、これにより決定された有効領域の座標、および有効領域の信頼度を処理結果として出力すると共に、処理対象フレームバッファ１６に記録されている有効領域の座標、および有効領域の信頼度を決定された値に更新する。

後フレーム比較部２０は、前フレーム比較部１９により適正な有効領域が求められない場合、比較結果判定部２１の指示に基づいて、処理対象フレームバッファ１６、および後フレームバッファ１４，１５に記憶されている３フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を比較し、いずれかを正しい有効領域の座標として特定する処理を実行し、特定できたとき、処理結果を比較結果判定部２１に供給し、さらに、特定できなかったとき、後フレームバッファ１４乃至前フレームバッファ１８に記憶されている５フレームの有効領域の信頼度を比較して最も信頼度の高い有効領域の座標を処理結果として比較結果判定部２１に供給する。すなわち、後フレーム比較部２０は、いずれかの有効領域を適正なものとして特定する。より具体的には、後フレーム比較部２０は、処理対象フレームの画像データと、１フレーム後の画像データまたは２フレーム後の画像データとの信頼度の比較をすると共に、処理対象フレームの画像データと、１フレーム後の画像データまたは２フレーム後の画像データとの有効領域の座標が類似しているか否かを判定する。後フレーム比較部２０は、信頼度の比較結果と座標の類似の判定結果に基づいて、有効領域の座標を決定し、比較結果判定部２１に供給する。また、有効領域の座標を決定することができなかった場合、後フレーム比較部２０は、前フレームバッファ１７，１８から１フレーム前の画像データおよび２フレーム前の画像データの信頼度を読み出し、２フレーム前のフレームから２フレーム後のフレームまでの５フレームの有効領域の座標の信頼度のうち、最も信頼度の高い有効領域の座標を比較結果判定部２１に供給する。

なお、以降の説明においては、処理対象フレームは、ｎ番目のフレームとして説明し、図６で示されるように、単にフレーム（ｎ）と称するものとする。また、１フレーム前のフレーム乃至３フレーム前のフレームについては、それぞれフレーム（ｎ−１）乃至（ｎ−３）と称するものとし、同様にして、１フレーム後のフレーム乃至３フレーム後のフレームについては、それぞれフレーム（ｎ＋１）乃至（ｎ＋３）と称するものとする。したがって、前処理用フレームバッファ１１に格納されるフレームは、処理対象フレームをフレーム（ｎ）として表現するとき、フレーム（ｎ＋３）で表現されることになる。

次に、図７のフローチャートを参照して、有効領域検出処理について説明する。

ステップＳ１において、前処理用フレームバッファ１１は、新たなフレーム（ｎ＋３）を読み込むと共に、これまで記憶していた情報、すなわち１フレーム分の画像データを後フレームバッファ１４に供給する。このとき、同様にして、後フレームバッファ１４乃至前フレームバッファ１７は、格納していた１フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を、それぞれ後フレームバッファ１５乃至前フレームバッファ１８に供給し、新たに供給されてくる１フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を格納する。なお、前フレームバッファ１８は、それまで記憶していた１フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を消去して、新たに前フレームバッファ１７より供給されてくる１フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報に更新する。さらに、フレーム内座標位置決定部１２は、直前の処理で求められている有効領域の座標情報を後フレームバッファ１４に出力する。また、フレーム内信頼度計算部１３は、直前の処理で求められた信頼度を後フレームバッファ１４に出力する。なお、最初の処理においては、デフォルトの有効領域の座標、および信頼度が出力される。

ステップＳ２において、フレーム内座標位置決定部１２は、フレーム内の有効領域の座標位置決定処理を実行し、有効領域の座標の位置を決定する。フレーム内の有効領域の座標位置決定の処理の詳細は後述する。

ステップＳ３において、フレーム内信頼度計算部１３は、フレーム内座標位置決定部１２により決定された有効領域の座標の情報に基づいて、その信頼度を計算する。より具体的には、フレーム内信頼度計算部１３は、フレーム内座標位置決定部１２より供給された有効領域の画素の座標の位置に沿って、黒領域と有効領域との境界部分の、黒領域側の画素の黒の割合と、有効領域側の画素の黒以外の割合に基づいて、信頼度を計算する。フレーム内信頼度計算部１３は、計算された信頼度を、後フレームバッファ１４に供給する。

ステップＳ２，Ｓ３の処理により、前処理用フレームバッファ１１に１フレーム分の画像データが格納された時点で、有効領域の座標が求められると共に、有効領域の座標の信頼度が求められる。また、ステップＳ１の処理が実行されるとき、前処理用フレームバッファ１１に格納されている画像データが後フレームバッファ１４に供給されると共に、有効領域の座標、および、有効領域の座標の信頼度も併せて後フレームバッファ１４に供給される。さらに、それ以降の処理において、後フレームバッファ１４乃至前フレームバッファ１７の全てが、この画像データ、有効領域の座標、および有効領域の座標の信頼度を順次後段の後フレームバッファ１５乃至前フレームバッファ１８に供給する。結果として、後フレームバッファ１４乃至前フレームバッファ１８は、処理対象フレームがフレーム（ｎ）であるとき、フレーム（ｎ＋２）乃至（ｎ−２）のフレームについて、画像データ、有効領域の座標、および有効領域の座標の信頼度を常に格納した状態となる。

ステップＳ４において、前フレーム比較部１９は、処理対象フレームバッファ１６、および前フレームバッファ１７，１８に記憶されている３フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を比較し、いずれかを正しい有効領域の座標として特定する処理を実行し、処理結果を比較結果判定部２１に供給する。

具体的には、前フレーム比較部１９は、処理対象フレームの画像データと、１フレーム前の画像データまたは２フレーム前の画像データとの信頼度の比較をすると共に、処理対象フレームの画像データと、１フレーム前の画像データまたは２フレーム前の画像データとの有効領域の座標が類似しているか否かを判定する。前フレーム比較部１９は、信頼度の比較結果と座標の類似の判定結果に基づいて、有効領域の座標を特定し、比較結果判定部２１に供給する。

ステップＳ５において、比較結果判定部２１は、有効領域の座標が決定されたか否かを判定する。ステップＳ５において、前フレーム比較部１９によって、正しいと特定できる有効領域が決定されなかった場合、より具体的には、例えば、前フレーム比較部１９から適切な有効領域の座標が決定できない旨の通知があった場合、ステップＳ６において、比較結果判定部２１は、後フレーム比較部２０に対して後フレーム比較処理を実行するように指示する。

ステップＳ６において、後フレーム比較部２０は、比較結果判定部２１の指示に基づいて、処理対象フレームバッファ１６、および後フレームバッファ１４，１５に記憶されている３フレーム分の画像データ、有効領域の座標、および有効領域の信頼度の情報を比較し、いずれかを正しい有効領域の座標として特定する処理を実行し、特定できたとき、処理結果を比較結果判定部２１に供給し、さらに、特定できなかったとき、後フレームバッファ１４乃至前フレームバッファ１８に記憶されている５フレームの有効領域の信頼度を比較して最も信頼度の高い有効領域の座標を処理結果として比較結果判定部２１に供給する。すなわち、後フレーム比較部２０は、いずれかの有効領域を適正なものとして特定する。

より具体的には、後フレーム比較部２０は、処理対象フレームの画像データと、１フレーム後の画像データまたは２フレーム後の画像データとの信頼度の比較をすると共に、処理対象フレームの画像データと、１フレーム後の画像データまたは２フレーム後の画像データとの有効領域の座標が類似しているか否かを判定する。後フレーム比較部２０は、信頼度の比較結果と座標の類似の判定結果に基づいて、有効領域の座標を決定し、比較結果判定部２１に供給する。また、有効領域の座標を決定することができなかった場合、後フレーム比較部２０は、前フレームバッファ１７，１８から１フレーム前の画像データおよび２フレーム前の画像データの信頼度を読み出し、２フレーム前のフレームから２フレーム後のフレームまでのフレームの有効領域の座標の信頼度のうち最も信頼度の高い有効領域の座標を比較結果判定部２１に供給する。

ステップＳ７において、比較結果判定部２１は、後フレーム比較部２０より供給されてきた有効領域の座標の情報を処理対象フレームの有効領域の座標として出力すると共に、処理対象フレームバッファ１６に格納されている有効領域の座標を決定された情報に更新する。

ステップＳ８において、比較結果判定部２１は、終了が指示されたか否か、すなわち、次のフレームがあるか否かを判定し、終了が指示されていないと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。

また、ステップＳ５において、有効領域の座標が決定されたと判定された場合、ステップＳ６の処理がスキップされ、処理は、ステップＳ７に進む。ステップＳ７において、比較結果判定部２１は、前フレーム比較部１９より供給されてきた黒帯位置の座標の情報を処理対象フレームの黒帯位置の座標として出力すると共に、処理対処フレームバッファ１６に格納されている黒帯位置の座標を決定された情報に更新する。

そして、ステップＳ８において、終了が指示されたと判定された場合、その処理は、終了する。

このようにして、有効領域検出装置１は、処理対象とする１フレームの画像データについて、その前後のフレームの情報を用いて、例えば黒領域である無効領域と有効領域とを含む画像の有効領域を検出することができる。例えば、有効領域検出装置１は、図１および図２に示すような画像に対しても、図３および図４に示すような、クロスハッチ信号の端の部分や吹き出しの先端部分を黒領域であると誤検出しないようにすることができる。

以上の処理により、処理対象となるフレームと、前のタイミングのフレームとの有効領域の座標が類似している場合であって、有効領域の座標の信頼度に所定の関係があるとき、前のタイミングのフレームにおける有効領域の座標を連続的に用いるようにする。結果として、有効領域が変化していないような場合、有効領域がちらついたり、ノイズによって有効領域が変化したりするといったことを低減させることができる。

また、処理対象となるフレームと、前のタイミングのフレームとの有効領域の座標が類似していない、または、有効領域の座標の信頼度に所定の関係がない場合、処理対象となるフレームと、後のタイミングのフレームとの有効領域の座標が類似しており、有効領域の座標の信頼度に所定の関係があるとき、処理対象となるフレームの有効領域の座標をそのまま使用する。結果として、処理対象となるフレームにおけるタイミングを起点として有効領域が切り替わった場合、それ以降のタイミングのフレームとの関係により正確に有効領域を切り替えることが可能となる。

さらに、処理対象となるフレームと、後のタイミングのフレームとの有効領域の座標が類似していない、または、有効領域の座標の信頼度に所定の関係がないとき、有効領域が連続的に変化しているものとみなして、処理対象となるフレームと、後のタイミングのフレームとの有効領域の座標のうち、最も信頼度の高い有効領域を選択する。結果として、有効領域が実際に連続的に変化しても、有効領域の変化に追従して、正確に有効領域の座標を変化させることが可能となる。

なお、上述の説明において、処理対象のフレームと前後２フレームを用いた場合の処理について説明したが、処理に用いるフレーム数は、処理対象フレームの前後２フレーム以外の数であってもよいし、前フレームと後フレームのフレーム数が異なっていてもよい。

また、選択される有効領域は、単純に、任意の数のフレームの中の信頼度が最も高いものであったり、現フレームと類似しているフレームのうちの信頼度が高いものであったりしてもよい。

次に、フレーム内座標位置決定部１２およびフレーム内の有効領域の座標位置決定処理について詳細に説明する。

図８は、図５の有効領域検出装置１におけるフレーム内座標位置決定部１２の構成の例を示すブロック図である。

フレーム内座標位置決定部１２は、有効領域座標位置決定部４１を有する。有効領域座標位置決定部４１は、水平方向の列ごとの左端の画素の座標上の位置および右端の画素の座標上の位置、並びに垂直方向の列ごとの上端の画素の座標上の位置および下端の画素の座標上の位置から、画像における有効領域の座標上の位置を決定する。

図９は、有効領域座標位置決定部４１の構成の例を示すブロック図である。

有効領域座標位置決定部４１は、フレーム読み込み部６１、カウンタ設定部６２、ライン読み込み部６３、左座標位置検出部６４、右座標位置検出部６５、上座標位置検出部６６、および下座標位置検出部６７から構成される。

フレーム読み込み部６１は、前処理用フレームバッファ１１から供給されてくる１フレーム分の画像データを読み込む。

カウンタ設定部６２は、有効領域座標位置決定部４１内の各種のカウンタの初期化を行ったり、インクリメントまたはデクリメントしたり、カウンタの値の管理を行ったりする。

ライン読み込み部６３は、１フレーム分の画像の、水平方向に１列に並ぶ画素である横ラインを順に読み込み、１ライン分の画素の画素値を、画素の並びの順に蓄える。具体的には、例えば、ライン読み込み部６３は、図１０に示すように、画像が表示される画面の上から下に、すなわち、ｙ軸の正方向に向かって横ライン（ｉ）を順に読み込み、１ライン分の画素の画素値を、画素の並びの順に蓄える。ここで、ｉはｙ軸の座標値であり、０乃至COL−１のいずれかの整数値である。なお、横ライン（ｉ）は、ｙ軸の座標位置がｉである横ラインを示す。以下同様である。

また、ライン読み込み部６３は、１フレーム分の画像の、垂直方向に１列に並ぶ画素である縦ラインを順に読み込み、１ライン分の画素の画素値を、画素の並びの順に蓄える。具体的には、例えば、ライン読み込み部６３は、図１０に示すように、画像が表示される画面の左から右に、すなわち、ｘ軸の正方向に向かって縦ライン（ｊ）を順に読み込み、１ライン分の画素の画素値を、画素の並びの順に蓄える。ここで、jはｘ軸の座標値であり、０乃至ROW−１のいずれかの整数値である。なお、縦ライン（ｊ）は、ｘ軸の座標位置がｊである縦ラインを示す。以下同様である。

左座標位置検出部６４は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、左端の画素の座標上の位置を検出する。

より具体的には、例えば、左座標位置検出部６４は、図１０の横ライン（ｉ）上の画素であって、ｘ軸上の座標値ｋにおける画素の画素値をＰ（ｋ）とした場合、座標値ｋを０からROW−１まで順に変化させたときの画素値Ｐ（ｋ）と有効領域の画素であるか否かを判定する閾値Ｃ_thとを順に比較する。左座標位置検出部６４は、Ｐ（ｋ）＞Ｃ_thとなる座標値ｋ、すなわち図１０におけるｘ軸の座標値ｘ_leftを出力する。

また、左座標位置検出部６４は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、左端の画素の座標上の位置を検出する。

より具体的には、例えば、左座標位置検出部６４は、図１０の横ライン（ｉ）上の画素であって、ｘ軸上の座標値ｋにおける画素の画素値をＰ（ｋ）とした場合、座標値ｋを０からROW−１まで順に変化させたときの画素値Ｐ（ｋ）と有効領域の画素であるか否かを判定する閾値Ｃ_th1とを順に比較する。左座標位置検出部６４は、Ｐ（ｋ）＞Ｃ_th1となる座標値ｋ、すなわち図１０におけるｘ軸の座標値ｘ_leftを出力する。または、左座標位置検出部６４は、Ｐ（ｋ）＞Ｃ_th1とならない画素について、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｋ）−Ｐ（ｋ−１）｜とを比較して｜Ｐ（ｋ）−Ｐ（ｋ−１）｜＞Ｃ_th2となる座標値ｋ、すなわち図１０におけるｘ軸の座標値ｘ_leftを出力する。

右座標位置検出部６５は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、右端の画素の座標上の位置を検出する。

より具体的には、例えば、右座標位置検出部６５は、図１０の横ライン（ｉ）上の画素であって、ｘ軸上の座標値ｍにおける画素の画素値をＰ（ｍ）とした場合、座標値ｍをROW−１から０まで順に変化させたときの画素値Ｐ（ｍ）と有効領域の画素であるか否かを判定する閾値Ｃ_thとを順に比較する。右座標位置検出部６５は、Ｐ（ｍ）＞Ｃ_thとなる座標値ｍ、すなわち図１０におけるｘ軸の座標値ｘ_rightを出力する。

また、右座標位置検出部６５は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、右端の画素の座標上の位置を検出する。

より具体的には、例えば、右座標位置検出部６５は、図１０の横ライン（ｉ）上の画素であって、ｘ軸上の座標値ｍにおける画素の画素値をＰ（ｍ）とした場合、座標値ｍをROW−１から０まで順に変化させたときの画素値Ｐ（ｍ）と有効領域の画素であるか否かを判定する閾値Ｃ_th1とを順に比較する。右座標位置検出部６５は、Ｐ（ｍ）＞Ｃ_th1となる座標値ｍ、すなわち図１０におけるｘ軸の座標値ｘ_rightを出力する。または、右座標位置検出部６５は、Ｐ（ｍ）＞Ｃ_th1とならない画素について、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜とを比較して｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜＞Ｃ_th2となる座標値ｍ、すなわち図１０におけるｘ軸の座標値ｘ_rightを出力する。

上座標位置検出部６６は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、上端の画素の座標上の位置を検出する。

より具体的には、例えば、上座標位置検出部６６は、図１０の縦ライン（ｊ）上の画素であって、ｙ軸上の座標値ｒにおける画素の画素値をＰ（ｒ）とした場合、座標値ｒを０からCOL−１まで順に変化させたときの画素値Ｐ（ｒ）と有効領域の画素であるか否かを判定する閾値Ｃ_thとを順に比較する。上座標位置検出部６６は、Ｐ（ｒ）＞Ｃ_thとなる座標値ｒ、すなわち図１０におけるｙ軸の座標値ｙ_upperを出力する。

また、上座標位置検出部６６は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、上端の画素の座標上の位置を検出する。

より具体的には、例えば、上座標位置検出部６６は、図１０の縦ライン（ｊ）上の画素であって、ｙ軸上の座標値ｒにおける画素の画素値をＰ（ｒ）とした場合、座標値ｒを０からCOL−１まで順に変化させたときの画素値Ｐ（ｒ）と有効領域の画素であるか否かを判定する閾値Ｃ_th1とを順に比較する。上座標位置検出部６６は、Ｐ（ｒ）＞Ｃ_th1となる座標値ｒ、すなわち図１０におけるｙ軸の座標ｙ_upperを出力する。または、上座標位置検出部６６は、Ｐ（ｒ）＞Ｃ_th1とならない画素について、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｒ）−Ｐ（ｒ−１）｜とを比較して｜Ｐ（ｒ）−Ｐ（ｒ−１）｜＞Ｃ_th2となる座標値ｒ、すなわち図１０におけるｙ軸の座標値ｙ_upperを出力する。

下座標位置検出部６７は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、下端の画素の座標上の位置を検出する。

より具体的には、例えば、下座標位置検出部６７は、図１０の縦ライン（ｊ）上の画素であって、ｙ軸上の座標値ｓにおける画素の画素値をＰ（ｓ）とした場合、座標値ｓをCOL−１から０まで順に変化させたときの画素値Ｐ（ｓ）と有効領域の画素であるか否かを判定する閾値Ｃ_thとを順に比較する。下座標位置検出部６７は、Ｐ（ｓ）＞Ｃ_thとなる座標値ｓ、すなわち図１０におけるｙ軸の座標値ｙ_lowerを出力する。

また、下座標位置検出部６７は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、下端の画素の座標上の位置を検出する。

より具体的には、例えば、下座標位置検出部６７は、図１０の縦ライン（ｊ）上の画素であって、ｙ軸上の座標値ｓにおける画素の画素値をＰ（ｓ）とした場合、座標値ｓをCOL−１から０まで順に変化させたときの画素値Ｐ（ｓ）と有効領域の画素であるか否かを判定する閾値Ｃ_th1とを順に比較する。下座標位置検出部６７は、Ｐ（ｓ）＞Ｃ_th1となる座標値ｓ、すなわち図１０におけるｙ軸の座標値ｙ_lowerを出力する。または、下座標位置検出部６７は、Ｐ（ｓ）＞Ｃ_th1とならない画素について、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜とを比較して｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜＞Ｃ_th2となる座標値ｓ、すなわち図１０におけるｙ軸の座標値ｙ_lowerを出力する。

次に、フレーム内座標位置決定部１２の有効領域座標位置決定部４１による、フレーム内の有効領域の座標位置決定処理について説明する。

図１１は、図７のフローチャートのステップＳ２に対応する、フレーム内の有効領域の座標位置決定の処理の例を示すフローチャートである。

ステップＳ１０１において、フレーム読み込み部６１は、フレームを読み込む。より具体的には、フレーム読み込み部６１は、前処理用フレームバッファ１１から供給されてくる１フレーム分の画像データを読み込む。

ステップＳ１０２において、カウンタ設定部６２は、横ラインのカウンタｉ、および縦ラインのカウンタｊを０に初期化する。以下、カウンタｉのカウンタ値を単に変数ｉで表し、また、カウンタｊのカウンタ値を単に変数ｊで表す。

ステップＳ１０３において、ライン読み込み部６３は、横ライン（ｉ）を読み込む。最初のステップＳ１０３の処理においては、ライン読み込み部６３は、横ライン（０）、すなわち、画面上最も上の横ラインを読み込む。ステップＳ１０３の後、ステップＳ１０４およびステップＳ１０５が同時に実行される。

ステップＳ１０４において、左座標位置検出部６４は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、左端の画素の座標上の位置を検出する。すなわち、左座標位置検出部６４は、左座標位置検出処理を行う。

ここで、図１２のフローチャートを参照して、ステップＳ１０４に対応する、左座標位置検出処理の詳細な例について説明する。

ステップＳ１３１において、カウンタ設定部６２は、カウンタｋを０に初期化する。ここで、カウンタｋは、図１０におけるｘ軸の座標値０乃至ROW−１のいずれかの値をとる。以下、カウンタｋのカウンタ値を単に変数ｋで表す。

ステップＳ１３２において、左座標位置検出部６４は、ｘ軸上の座標値ｋにおける画素の画素値Ｐ（ｋ）と、有効領域の画素であるか否かを判定する閾値Ｃ_thとを比較し、Ｐ（ｋ）＞Ｃ_thであるか否かを判定する。すなわち、左座標位置検出部６４は、座標値ｋにおける画素の画素値Ｐ（ｋ）が有効領域の画素の画素値であるか否かを判定する。

具体的には、例えば、Ｃ_th＝２５として、画素値のＲ，Ｇ，Ｂ成分のいずれかが閾値Ｃ_thより大きいか否かが判定される。

ステップＳ１３２において、Ｐ（ｋ）＞Ｃ_thであると判定された場合、すなわち、座標値ｋにおける画素の画素値Ｐ（ｋ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ１３３に進む。

ステップＳ１３３において、左座標位置検出部６４は、Ｐ（ｋ）＞Ｃ_thである、すなわち、画素値Ｐ（ｋ）が有効領域の画素の画素値であると判定された座標値ｋを出力する。

一方、ステップＳ１３２において、Ｐ（ｋ）＞Ｃ_thでないと判定された場合、すなわち、座標値ｋにおける画素の画素値Ｐ（ｋ）が有効領域の画素の画素値でなく、黒領域の画素の画素値であると判定された場合、処理は、ステップＳ１３４に進む。

ステップＳ１３４において、カウンタ設定部６２は、座標値ｋを１インクリメントする。すなわち、処理対象となる画素が、横ライン（ｉ）上の右方向１つ隣りの画素とされる。

ステップＳ１３５において、カウンタ設定部６２は、座標値ｋがｘ軸上の最大値以上であるか否か、すなわち、ｋ≧ROWであるか否かを判定する。

ステップＳ１３５において、ｋ≧ROWでないと判定された場合、横ライン（ｉ）にまだ黒領域の画素であるか否かが判定されていない画素があるので、処理は、ステップＳ１３２に戻り、これ以降の処理を繰り返す。

一方、ステップＳ１３５において、ｋ≧ROWであると判定された場合、横ライン（ｉ）の全ての画素について黒領域の画素であるか否かを判定したので、処理は、ステップＳ１３６に進む。

ステップＳ１３６において、カウンタ設定部６２は、座標値ｋを１デクリメントし、処理はステップＳ１３３に進む。ステップＳ１３３において、左座標位置検出部６４は、ｋ＝ROW−１である座標値ｋを出力する。この場合、横ライン（ｉ）は全て黒領域であったことになる。

このように、左座標位置検出部６４は、画面の左端から、横ライン（ｉ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の左端の画素の位置を検出することができる。

また、ステップＳ１３４において、座標値ｋを１インクリメントする、すなわち、処理対象となる画素が、横ライン（ｉ）上の右方向１つ隣りの画素とされるようにしたが、任意の数インクリメントする、例えば３インクリメントするようにしてもよい。この場合、３つのうち１つの画素について処理を行うようになる。これにより、演算量が低減されるようにすることができる。

図１１に戻り、ステップＳ１０５において、右座標位置検出部６５は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、右端の画素の座標上の位置を検出する。すなわち、右座標位置検出部６５は、右座標位置検出処理を行う。

ここで、図１３のフローチャートを参照して、ステップＳ１０５に対応する、右座標位置検出処理の詳細な例について説明する。

ステップＳ１５１において、カウンタ設定部６２は、カウンタｍをROW−１に初期化する。ここで、カウンタｍは、図１０におけるｘ軸の座標値ROW−１乃至０のいずれかの値をとる。以下、カウンタｍのカウンタ値を単に変数ｍで表す。

ステップＳ１５２において、右座標位置検出部６５は、ｘ軸上の座標値ｍにおける画素の画素値Ｐ（ｍ）と、有効領域の画素であるか否かを判定する閾値Ｃ_thとを比較し、Ｐ（ｍ）＞Ｃ_thであるか否かを判定する。すなわち、右座標位置検出部６５は、座標値ｍにおける画素の画素値Ｐ（ｍ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ１５２において、Ｐ（ｍ）＞Ｃ_thであると判定された場合、すなわち、座標値ｍにおける画素の画素値Ｐ（ｍ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ１５３に進む。

ステップＳ１５３において、右座標位置検出部６５は、Ｐ（ｍ）＞Ｃ_thである、すなわち、画素値Ｐ（ｍ）が有効領域の画素の画素値と判定された座標値ｍを出力する。

一方、ステップＳ１５２において、Ｐ（ｍ）＞Ｃ_thでないと判定された場合、すなわち、座標値ｍにおける画素の画素値Ｐ（ｍ）が有効領域の画素の画素値でなく、黒領域の画素の画素値であると判定された場合、処理は、ステップＳ１５４に進む。

ステップＳ１５４において、カウンタ設定部６２は、座標値ｍを１デクリメントする。すなわち、処理対象となる画素が、横ライン（ｉ）上の左方向１つ隣りの画素とされる。

ステップＳ１５５において、カウンタ設定部６２は、座標値ｍがｘ軸上の最小値より小さいか否か、すなわち、ｍ＜０であるか否かを判定する。

ステップＳ１５５において、ｍ＜０でないと判定された場合、横ライン（ｉ）にまだ黒領域の画素であるか否かが判定されていない画素があるので、処理は、ステップＳ１５２に戻り、これ以降の処理を繰り返す。

一方、ステップＳ１５５において、ｍ＜０であると判定された場合、横ライン（ｉ）の全ての画素について黒領域の画素であるか否かを判定したので、処理は、ステップＳ１５６に進む。

ステップＳ１５６において、カウンタ設定部６２は、座標値ｍを１インクリメントし、処理はステップＳ１５３に進む。ステップＳ１５３において、右座標位置検出部６５は、ｍ＝０である座標値ｍを出力する。この場合、横ライン（ｉ）は全て黒領域であったことになる。

このように、右座標位置検出部６５は、画面の右端から、横ライン（ｉ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の右端の画素の位置を検出することができる。

また、ステップＳ１５４において、座標値ｍを１デクリメントする、すなわち、処理対象となる画素が、横ライン（ｉ）上の左方向１つ隣りの画素とされるようにしたが、任意の数デクリメントする、例えば３デクリメントするようにしてもよい。この場合、３つのうち１つの画素について処理を行うようになる。これにより、演算量が低減されるようにすることができる。

図１１に戻り、ステップＳ１０４およびステップＳ１０５の後、処理は、ステップＳ１０６に進む。

ステップＳ１０６において、カウンタ設定部６２は、ｙ軸の座標値ｉを１インクリメントする。すなわち、処理対象となる横ライン（ｉ）が、画面下方向１つ隣のラインとされる。

ステップＳ１０７において、カウンタ設定部６２は、座標値ｉがｙ軸上の最大値以上であるか否か、すなわち、ｉ≧COLであるか否かを判定する。

ステップＳ１０７において、ｉ≧COLでないと判定された場合、処理は、ステップＳ１０３に戻り、これ以降の処理を繰り返す。すなわち、有効領域座標位置決定部４１は、画面上の上側の横ライン（０）から下側の横ライン（COL−１）までのそれぞれについて順番に、有効領域の左端の画素の位置および右端の画素の位置の検出処理を繰り返す。

一方、ステップＳ１０７において、ｉ≧COLであると判定された場合、すなわち、画面上最も下の横ラインの読み込みを終えた場合、処理はステップＳ１０８に進む。

ステップＳ１０８において、ライン読み込み部６３は、縦ライン（ｊ）を読み込む。最初のステップＳ１０８の処理においては、ライン読み込み部６３は、縦ライン（０）、すなわち、画面上最も左の縦ラインを読み込む。ステップＳ１０８の処理の後、ステップＳ１０９およびステップＳ１１０が同時に実行される。

ステップＳ１０９において、上座標位置検出部６６は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、上端の画素の座標上の位置を検出する。すなわち、上座標位置検出部６６は、上座標位置検出処理を行う。

ここで、図１４のフローチャートを参照して、ステップＳ１０９に対応する、上座標位置検出処理の詳細な例について説明する。

ステップＳ１７１において、カウンタ設定部６２は、カウンタｒを０に初期化する。ここで、カウンタｒは、図１０におけるｙ軸の座標値０乃至COL−１のいずれかの値をとる。以下、カウンタｒのカウンタ値を単に変数ｒで表す。

ステップＳ１７２において、上座標位置検出部６６は、ｙ軸上の座標値ｒにおける画素の画素値Ｐ（ｒ）と、有効領域の画素であるか否かを判定する閾値Ｃ_thとを比較し、Ｐ（ｒ）＞Ｃ_thであるか否かを判定する。すなわち、上座標位置検出部６６は、座標値ｒにおける画素の画素値Ｐ（ｒ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ１７２において、Ｐ（ｒ）＞Ｃ_thであると判定された場合、すなわち、座標値ｒにおける画素の画素値Ｐ（ｒ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ１７３に進む。

ステップＳ１７３において、上座標位置検出部６６は、Ｐ（ｒ）＞Ｃ_thである、すなわち、画素値Ｐ（ｒ）が有効領域の画素の画素値であると判定された座標値ｒを出力する。

一方、ステップＳ１７２において、Ｐ（ｒ）＞Ｃ_thでないと判定された場合、すなわち、座標値ｒにおける画素の画素値Ｐ（ｒ）が有効領域の画素の画素値でなく、黒領域の画素の画素値であると判定された場合、処理は、ステップＳ１７４に進む。

ステップＳ１７４において、カウンタ設定部６２は、座標値ｒを１インクリメントする。すなわち、処理対象となる画素が、縦ライン（ｊ）上の下方向１つ隣りの画素とされる。

ステップＳ１７５において、カウンタ設定部６２は、座標値ｒがｙ軸上の最大値以上であるか否か、すなわち、ｒ≧COLであるか否かを判定する。

ステップＳ１７５において、ｒ≧COLでないと判定された場合、縦ライン（ｊ）にまだ黒領域の画素であるか否かが判定されていない画素があるので、処理は、ステップＳ１７２に戻り、これ以降の処理を繰り返す。

一方、ステップＳ１７５において、ｒ≧COLであると判定された場合、縦ライン（ｊ）の全ての画素について黒領域の画素であるか否かを判定したので、処理は、ステップＳ１７６に進む。

ステップＳ１７６において、カウンタ設定部６２は、座標値ｒを１デクリメントし、処理はステップＳ１７３に進む。ステップＳ１７３において、上座標位置検出部６６は、ｒ＝COL−１である座標値ｒを出力する。この場合、縦ライン（ｊ）は全て黒領域であったことになる。

このように、上座標位置検出部６６は、画面の上端から、縦ライン（ｊ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の上端の画素の位置を検出することができる。

また、ステップＳ１７４において、座標値ｒを１インクリメントする、すなわち、処理対象となる画素が、縦ライン（ｊ）上の下方向１つ隣りの画素とされるようにしたが、任意の数インクリメントする、例えば３インクリメントするようにしてもよい。この場合、３つのうち１つの画素について処理を行うようになる。これにより、演算量が低減されるようにすることができる。

図１１に戻り、ステップＳ１１０において、下座標位置検出部６７は、黒領域の画素であるか否かを判定するための閾値とその画素値とを比較することによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、下端の画素の座標上の位置を検出する。すなわち、下座標位置検出部６７は、下座標位置検出処理を行う。

ここで、図１５のフローチャートを参照して、ステップＳ１１０に対応する、下座標位置検出処理の詳細な例について説明する。

ステップＳ１９１において、カウンタ設定部６２は、カウンタｓをCOL−１に初期化する。ここで、カウンタｓは、図１０におけるｙ軸の座標値COL−１乃至０のいずれかの値をとる。以下、カウンタｓのカウンタ値を単に変数ｓで表す。

ステップＳ１９２において、下座標位置検出部６７は、ｙ軸上の座標値ｓにおける画素の画素値Ｐ（ｓ）と、有効領域の画素であるか否かを判定する閾値Ｃ_thとを比較し、Ｐ（ｓ）＞Ｃ_thであるか否かを判定する。すなわち、下座標位置検出部６７は、座標値ｓにおける画素の画素値Ｐ（ｓ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ１９２において、Ｐ（ｓ）＞Ｃ_thであると判定された場合、すなわち、座標値ｓにおける画素の画素値Ｐ（ｓ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ１９３に進む。

ステップＳ１９３において、下座標位置検出部６７は、Ｐ（ｓ）＞Ｃ_thである、すなわち、画素値Ｐ（ｓ）が有効領域の画素の画素値と判定された座標値ｓを出力する。

一方、ステップＳ１９２において、Ｐ（ｓ）＞Ｃ_thでないと判定された場合、すなわち、座標値ｓにおける画素の画素値Ｐ（ｓ）が有効領域の画素の画素値でなく、黒領域の画素の画素値であると判定された場合、処理は、ステップＳ１９４に進む。

ステップＳ１９４において、カウンタ設定部６２は、座標値ｓを１デクリメントする。すなわち、処理対象となる画素が、縦ライン（ｊ）上の上方向１つ隣りの画素とされる。

ステップＳ１９５において、カウンタ設定部６２は、座標値ｓがｙ軸上の最小値より小さいか否か、すなわち、ｓ＜０であるか否かを判定する。

ステップＳ１９５において、ｓ＜０でないと判定された場合、縦ライン（ｊ）にまだ黒領域の画素であるか否かが判定されていない画素があるので、処理は、ステップＳ１９２に戻り、これ以降の処理を繰り返す。

一方、ステップＳ１９５において、ｓ＜０であると判定された場合、縦ライン（ｊ）の全ての画素について黒領域の画素であるか否かを判定したので、処理は、ステップＳ１９６に進む。

ステップＳ１９６において、カウンタ設定部６２は、座標値ｓを１インクリメントし、処理はステップＳ１９３に進む。ステップＳ１９３において、下座標位置検出部６７は、ｓ＝０である座標値ｓを出力する。この場合、縦ライン（ｊ）は全て黒領域であったことになる。

このように、下座標位置検出部６７は、画面の下端から、縦ライン（ｊ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の下端の画素の位置を検出することができる。

また、ステップＳ１９４において、座標値ｓを１デクリメントする、すなわち、処理対象となる画素が、縦ライン（ｊ）上の上方向１つ隣りの画素とされるようにしたが、任意の数デクリメントする、例えば３デクリメントするようにしてもよい。この場合、３つのうち１つの画素について処理を行うようになる。これにより、演算量が低減されるようにすることができる。

図１１に戻り、ステップＳ１０９およびステップＳ１１０の後、処理は、ステップＳ１１１に進む。

ステップＳ１１１において、カウンタ設定部６２は、ｘ軸の座標値ｊを１インクリメントする。すなわち、処理対象となる縦ライン（ｊ）が、画面右方向１つ隣のラインとされる。

ステップＳ１１２において、カウンタ設定部６２は、座標値ｊがｘ軸上の最大値以上であるか否か、すなわち、ｊ≧ROWであるか否かを判定する。

ステップＳ１１３において、ｊ≧ROWでないと判定された場合、処理は、ステップＳ１０８に戻り、これ以降の処理を繰り返す。すなわち、有効領域座標位置決定部４１は、画面上の左側の縦ライン（０）から右側の縦ライン（ROW−１）までのそれぞれについて順番に、有効領域の左端の画素の位置および右端の画素の位置の検出処理を繰り返す。

一方、ステップＳ１１２において、ｊ≧ROWであると判定された場合、すなわち、画面上の最も右の縦ラインの読み込みを終えた場合、処理は終了する。

このようにして、有効領域検出装置１は、例えば黒領域である無効領域と任意の形状の有効領域とを含む画像において、黒領域以外の有効領域を正確に検出することができる。具体的には、例えば、有効領域検出装置１は、図１に示すクロスハッチ信号に対して、図１６に示すように、クロスハッチ信号の端の部分を有効領域であると正確に検出することができる。また、例えば、有効領域検出装置１は、図２に示す吹き出し型の映像信号に対して、図１７に示すように、吹き出しの先端部分を有効領域であると正確に検出することができる。

なお、上述した説明において、ステップＳ１０４の左座標位置検出処理とステップＳ１０５の右座標位置検出処理とを並列で行うようにしたが、直列で行うようにしてもよい。この場合、例えば、左座標位置検出処理において、所定の横ライン（ｉ）上の画素の全てが黒領域であると判定された場合、右座標位置検出処理における所定の横ライン（ｉ）の判定を行わないようにしてもよい。

同様に、上述した説明において、ステップＳ１０９の上座標位置検出処理とステップＳ１１０の下座標位置検出処理とを並列で行うようにしたが、直列で行うようにしてもよい。この場合、例えば、上座標位置検出処理において、所定の縦ライン（ｊ）上の画素の全てが黒領域であると判定された場合、下座標位置検出処理における所定の縦ライン（ｊ）の判定を行わないようにしてもよい。

また、ステップＳ１０６において、ｙ軸の座標値ｉを１インクリメントする、すなわち、横ライン（ｉ）について１列ずつ処理を行うようにしたが、任意の数インクリメントする、例えば３インクリメントするようにしてもよい。この場合、３列のうち１列の横ラインについて処理を行うようになる。同様に、ステップＳ１１１において、ｘ軸の座標値ｊを１インクリメントする、すなわち、縦ライン（ｊ）について１列ずつ処理を行うようにしたが、任意の数インクリメントする、例えば３インクリメントするようにしてもよい。この場合、３列のうち１列の縦ラインについて処理を行うようになる。これにより、演算量が低減されるようにすることができる。

このようにして、有効領域座標位置決定部４１は、それぞれの横ライン（ｉ）についての有効領域の左座標位置および右座標位置、並びにそれぞれの縦ライン（ｊ）についての有効領域の上座標位置および下座標位置を求めることができる。すなわち、フレーム内座標位置決定部１２は、有効領域の座標の位置を決定することができる。

さらに、図１１のフローチャートの処理においては、横ライン（ｉ）についての処理を先に行ったが、縦ライン（ｊ）についての処理を先に行うようにしてもよい。以下、この場合の処理について説明する。

図１８は、フレーム内の有効領域の座標位置決定の処理の他の例を示すフローチャートである。

図１８のフローチャートにおけるステップＳ３０１およびステップＳ３０２の処理は、図１１のフローチャートにおけるステップＳ１０１およびステップＳ１０２の処理のそれぞれと同様であるので、その説明は省略する。図１８のフローチャートにおけるステップＳ３０３乃至ステップＳ３０７の処理は、図１１のフローチャートのステップＳ１０８乃至ステップＳ１１２の処理のそれぞれと同様であるので、その説明は省略する。図１８のフローチャートにおけるステップＳ３０８乃至ステップＳ３１２の処理は、図１１のフローチャートのステップＳ１０３乃至ステップＳ１０７の処理のそれぞれと同様であるので、その説明は省略する。

すなわち、図１８のフローチャートのステップＳ３０３乃至ステップＳ３１２の処理は、図１１のフローチャートのステップＳ１０３乃至ステップＳ１０７の処理とステップＳ１０８乃至１１２の処理との順序が入れ替わったものである。

すなわち、図１１のフローチャートの処理においては、横ライン（ｉ）についての処理を先に行ったが、図１８のフローチャートの処理のように、縦ライン（ｊ）についての処理を先に行うようにすることもできる。

次に、フレーム内の有効領域の座標位置決定処理のさらに他の例について説明する。

図１１のステップＳ１０４において、左座標位置検出部６４は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、左端の画素の座標上の位置を検出するようにしてもよい。図１８のステップＳ３０９においても同様である。

図１９のフローチャートを参照して、図１１のステップＳ１０４または図１８のステップＳ３０９に対応する、左座標位置検出処理の詳細な他の例について説明する。

ステップＳ３３１において、カウンタ設定部６２は、カウンタｋを０に初期化する。ここで、カウンタｋは、図１０におけるｘ軸の座標値０乃至ROW−１のいずれかの値をとる。以下、カウンタｋのカウンタ値を単に変数ｋで表す。

ステップＳ３３２において、左座標位置検出部６４は、ｘ軸上の座標値ｋにおける画素の画素値Ｐ（ｋ）と、有効領域の画素であるか否かを判定する閾値Ｃ_th1とを比較し、Ｐ（ｋ）＞Ｃ_th1であるか否かを判定する。すなわち、左座標位置検出部６４は、座標値ｋにおける画素の画素値Ｐ（ｋ）が有効領域の画素の画素値であるか否かを判定する。

具体的には、例えば、Ｃ_th1＝４０として、画素値のＲ，Ｇ，Ｂ成分のいずれかが閾値Ｃ_th1より大きいか否かが判定される。

ステップＳ３３２において、Ｐ（ｋ）＞Ｃ_th1であると判定された場合、すなわち、ｋにおける画素の画素値Ｐ（ｋ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ３３３に進む。

ステップＳ３３３において、左座標位置検出部６４は、Ｐ（ｋ）＞Ｃ_th1である、すなわち、画素値Ｐ（ｋ）が有効領域の画素の画素値であると判定された座標値ｋを出力する。

一方、ステップＳ３３２において、Ｐ（ｋ）＞Ｃ_th1でないと判定された場合、処理は、ステップＳ３３４に進む。

ステップＳ３３４において、左座標位置検出部６４は、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｋ）−Ｐ（ｋ−１）｜とを比較し、｜Ｐ（ｋ）−Ｐ（ｋ−１）｜＞Ｃ_th2であるか否かを判定する。

具体的には、例えば、Ｃ_th2＝１０として、隣接する画素の画素値との絶対差分値のＲ，Ｇ，Ｂ成分のいずれかが閾値Ｃ_th2より大きいか否かが判定される。

ステップＳ３３４において、｜Ｐ（ｋ）−Ｐ（ｋ−１）｜＞Ｃ_th2であると判定された場合、処理は、ステップＳ３３３に進み、左座標位置検出部６４は、｜Ｐ（ｋ）−Ｐ（ｋ−１）｜＞Ｃ_th2であると判定された座標値ｋを出力する。

一方、ステップＳ３３４において、｜Ｐ（ｋ）−Ｐ（ｋ−１）｜＞Ｃ_th2でないと判定された場合、処理は、ステップＳ３３５に進む。

図１９のフローチャートにおけるステップＳ３３５乃至ステップＳ３３７の処理は、図１２のフローチャートにおけるステップＳ１３４乃至Ｓ１３６の処理のそれぞれと同様であるのでその説明は省略する。

このように、左座標位置検出部６４は、画面の左端から、横ライン（ｉ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の左端の画素の位置を検出することができるとともに、閾値Ｃ_th1を閾値Ｃ_thより大きい値に設定し、隣接する画素の画素値との絶対差分値を算出することによって、ノイズの影響により画素の画素値が閾値Ｃ_thより大きい値であった場合でも、その画素が有効領域の画素であると誤検出することを防ぐことができる。

同様に、図１１のステップＳ１０５において、右座標位置検出部６５は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の横ライン上の、黒領域の画素でないと判定された画素のうち、右端の画素の座標上の位置を検出するようにしてもよい。図１８のステップＳ３１０においても同様である。

図２０のフローチャートを参照して、図１１のステップＳ１０５または図１８のステップＳ３１０に対応する、右座標位置検出処理の詳細な他の例について説明する。

ステップＳ３５１において、カウンタ設定部６２は、カウンタｍを０に初期化する。ここで、カウンタｍは、図１０におけるｘ軸の座標値ROW−１乃至０のいずれかの値をとる。以下、カウンタｍのカウンタ値を単に変数ｍで表す。

ステップＳ３５２において、右座標位置検出部６５は、ｘ軸上の座標値ｍにおける画素の画素値Ｐ（ｍ）と、有効領域の画素であるか否かを判定する閾値Ｃ_th1とを比較し、Ｐ（ｍ）＞Ｃ_th1であるか否かを判定する。すなわち、右座標位置検出部６５は、座標値ｍにおける画素の画素値Ｐ（ｍ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ３５２において、Ｐ（ｍ）＞Ｃ_th1であると判定された場合、すなわち、座標値ｍにおける画素の画素値Ｐ（ｍ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ３５３に進む。

ステップＳ３５３において、右座標位置検出部６５は、Ｐ（ｍ）＞Ｃ_th1である、すなわち、画素値Ｐ（ｍ）が有効領域の画素の画素値であると判定された座標値ｍを出力する。

一方、ステップＳ３５２において、Ｐ（ｍ）＞Ｃ_th1でないと判定された場合、処理は、ステップＳ３５４に進む。

ステップＳ３５４において、右座標位置検出部６５は、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜とを比較し、｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜＞Ｃ_th2であるか否かを判定する。

ステップＳ３５４において、｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜＞Ｃ_th2であると判定された場合、処理は、ステップＳ３５３に進み、右座標位置検出部６５は、｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜＞Ｃ_th2であると判定された座標値ｍを出力する。

一方、ステップＳ３５４において、｜Ｐ（ｍ）−Ｐ（ｍ＋１）｜＞Ｃ_th2でないと判定された場合、処理は、ステップＳ３５５に進む。

図２０のフローチャートにおけるステップＳ３５５乃至ステップＳ３５７の処理は、図１３のフローチャートにおけるステップＳ１５４乃至Ｓ１５６の処理のそれぞれと同様であるのでその説明は省略する。

このように、右座標位置検出部６５は、画面の右端から、横ライン（ｉ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の右端の画素の位置を検出することができるとともに、閾値Ｃ_th1を閾値Ｃ_thより大きい値に設定し、隣接する画素の画素値との絶対差分値を算出することによって、ノイズの影響により画素の画素値が閾値Ｃ_thより大きい値であった場合でも、その画素が有効領域の画素であると誤検出することを防ぐことができる。

同様に、図１１のステップＳ１０９において、上座標位置検出部６６は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、上端の画素の座標上の位置を検出するようにしてもよい。図１８のステップＳ３０４においても同様である。

図２１のフローチャートを参照して、図１１のステップＳ１０９または図１８のステップＳ３０４に対応する、上座標位置検出処理の詳細な他の例について説明する。

ステップＳ３７１において、カウンタ設定部６２は、カウンタｒを０に初期化する。ここで、カウンタｒは、図１０におけるｙ軸の座標値０乃至COL−１のいずれかの値をとる。以下、カウンタｒのカウンタ値を単に変数ｒで表す。

ステップＳ３７２において、上座標位置検出部６６は、ｙ軸上の座標値ｒにおける画素の画素値Ｐ（ｒ）と、有効領域の画素であるか否かを判定する閾値Ｃ_th1とを比較し、Ｐ（ｒ）＞Ｃ_th1であるか否かを判定する。すなわち、上座標位置検出部６６は、座標値ｒにおける画素の画素値Ｐ（ｒ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ３７２において、Ｐ（ｒ）＞Ｃ_th1であると判定された場合、すなわち、座標値ｒにおける画素の画素値Ｐ（ｒ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ３７３に進む。

ステップＳ３７３において、上座標位置検出部６６は、Ｐ（ｒ）＞Ｃ_th1である、すなわち、画素値Ｐ（ｒ）が有効領域の画素の画素値であると判定された座標値ｒを出力する。

一方、ステップＳ３７２において、Ｐ（ｒ）＞Ｃ_th1でないと判定された場合、処理は、ステップＳ３７４に進む。

ステップＳ３７４において、左座標位置検出部６４は、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｒ）−Ｐ（ｒ−１）｜とを比較し、｜Ｐ（ｒ）−Ｐ（ｒ−１）｜＞Ｃ_th2であるか否かを判定する。

ステップＳ３７４において、｜Ｐ（ｒ）−Ｐ（ｒ−１）｜＞Ｃ_th2であると判定された場合、処理は、ステップＳ３７３に進み、左座標位置検出部６４は、｜Ｐ（ｒ）−Ｐ（ｒ−１）｜＞Ｃ_th2であると判定された座標値ｒを出力する。

一方、ステップＳ３７４において、｜Ｐ（ｒ）−Ｐ（ｒ−１）｜＞Ｃ_th2でないと判定された場合、処理は、ステップＳ３７５に進む。

図２１のフローチャートにおけるステップＳ３７５乃至ステップＳ３７７の処理は、図１４のフローチャートにおけるステップＳ１７４乃至Ｓ１７６の処理のそれぞれと同様であるのでその説明は省略する。

このように、上座標位置検出部６６は、画面の上端から、縦ライン（ｊ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の上端の画素の位置を検出することができるとともに、閾値Ｃ_th1を閾値Ｃ_thより大きい値に設定し、隣接する画素の画素値との絶対差分値を算出することによって、ノイズの影響により画素の画素値が閾値Ｃ_thより大きい値であった場合でも、その画素が有効領域の画素であると誤検出することを防ぐことができる。

同様に、図１１のステップＳ１１０において、下座標位置検出部６７は、黒領域の画素であるか否かを判定するための閾値と画素の画素値とが比較されるとともに、所定の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、画像の縦ライン上の、黒領域の画素でないと判定された画素のうち、下端の画素の座標上の位置を検出するようにしてもよい。図１８のステップＳ３０５においても同様である。

図２２のフローチャートを参照して、図１１のステップＳ１１０または図１８のステップＳ３０５に対応する、下座標位置検出処理の詳細な他の例について説明する。

ステップＳ３９１において、カウンタ設定部６２は、カウンタｓを０に初期化する。ここで、カウンタｓは、図１０におけるｙ軸の座標値COL−１乃至０のいずれかの値をとる。以下、カウンタｓのカウンタ値を単に変数ｓで表す。

ステップＳ３９２において、下座標位置検出部６７は、ｙ軸上の座標値ｓにおける画素の画素値Ｐ（ｓ）と、有効領域の画素であるか否かを判定する閾値Ｃ_th1とを比較し、Ｐ（ｓ）＞Ｃ_th1であるか否かを判定する。すなわち、下座標位置検出部６７は、座標値ｓにおける画素の画素値Ｐ（ｓ）が有効領域の画素の画素値であるか否かを判定する。

ステップＳ３９２において、Ｐ（ｓ）＞Ｃ_th1であると判定された場合、すなわち、座標値ｓにおける画素の画素値Ｐ（ｓ）が有効領域の画素の画素値であると判定された場合、処理は、ステップＳ３９３に進む。

ステップＳ３９３において、下座標位置検出部６７は、Ｐ（ｓ）＞Ｃ_th1である、すなわち、画素値Ｐ（ｓ）が有効領域の画素の画素値であると判定された座標値ｓを出力する。

一方、ステップＳ３９２において、Ｐ（ｓ）＞Ｃ_th1でないと判定された場合、処理は、ステップＳ３９４に進む。

ステップＳ３９４において、下座標位置検出部６７は、所定の閾値Ｃ_th2と隣接する画素の画素値との絶対差分値である｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜とを比較し、｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜＞Ｃ_th2であるか否かを判定する。

ステップＳ３９４において、｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜＞Ｃ_th2であると判定された場合、処理は、ステップＳ３９３に進み、下座標位置検出部６７は、｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜＞Ｃ_th2であると判定された座標値ｓを出力する。

一方、ステップＳ３９４において、｜Ｐ（ｓ）−Ｐ（ｓ＋１）｜＞Ｃ_th2でないと判定された場合、処理は、ステップＳ３９５に進む。

図２２のフローチャートにおけるステップＳ３９５乃至ステップＳ３９７の処理は、図１５のフローチャートにおけるステップＳ１９４乃至Ｓ１９６の処理のそれぞれと同様であるのでその説明は省略する。

このように、下座標位置検出部６７は、画面の下端から、縦ライン（ｊ）上の画素が黒領域であるか有効領域であるかを判定することによって、有効領域の下端の画素の位置を検出することができるとともに、閾値Ｃ_th1を閾値Ｃ_thより大きい値に設定し、隣接する画素の画素値との絶対差分値を算出することによって、ノイズの影響により画素の画素値が閾値Ｃ_thより大きい値であった場合でも、その画素が有効領域の画素であると誤検出することを防ぐことができる。

またさらに、図１１および図１８のフローチャートの処理においては、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを直列に行ったが、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを並列に行うようにしてもよい。以下、この場合の処理について説明する。

図２３は、フレーム内の有効領域の座標位置決定処理のさらに他の例を示すフローチャートである。

図２３のフローチャートにおけるステップＳ５０１およびステップＳ５０２の処理は、図１１のステップＳ１０１およびステップＳ１０２の処理のそれぞれと同様であるので、その説明は省略する。図２３のフローチャートにおけるステップＳ５０３乃至ステップＳ５０７の処理は、図１１のフローチャートのステップＳ１０３乃至ステップＳ１０７の処理のそれぞれと同様であるので、その説明は省略する。図２３のフローチャートにおけるステップＳ５０８乃至ステップＳ５１２の処理は、図１１のフローチャートのステップＳ１０８乃至ステップＳ１１２の処理のそれぞれと同様であるので、その説明は省略する。

すなわち、図２３のフローチャートのステップＳ５０３乃至ステップＳ５０７の処理とステップＳ５０８乃至ステップＳ５１２の処理とは、図１１のフローチャートのステップＳ１０３乃至ステップＳ１０７の処理とステップＳ１０８乃至ステップＳ１１２の処理とが並列に処理されるようになったものである。

さらに、図２３のフローチャートにおけるステップＳ５０４およびステップＳ５０５、並びにステップＳ５０９およびステップＳ５１０の処理は、図１２乃至図１５のフローチャートを参照して説明した処理、または図１９乃至図２２のフローチャートを参照して説明した処理と同様であるので、それらの処理についての説明も省略する。

すなわち、図１１および図１８のフローチャートの処理においては、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを直列に行うようにしたが、図２３のフローチャートのように、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを並列に行うようにすることもできる。

このようにして、フレーム内座標位置決定部１２は、フレーム内の任意の形状の有効領域の座標位置決定処理を実行し、有効領域の座標の位置を決定することができる。

図２４は、図５の有効領域検出装置１におけるフレーム内座標位置決定部１２の構成の他の例を示すブロック図である。

図２４のフレーム内座標位置決定部１２は、有効領域座標位置決定部４１および矩形有効領域座標位置決定部１０１を有する。矩形有効領域座標位置決定部１０１は、有効領域座標位置決定部４１から供給される有効領域の座標位置に基づいて、矩形の有効領域の座標上の位置を決定する。

図２５は、矩形有効領域座標位置決定部１０１の構成の例を示すブロック図である。

矩形有効領域座標位置決定部１０１は、最左座標位置決定部１２１、最右座標位置決定部１２２、最上座標位置決定部１２３、および最下座標位置決定部１２４から構成される。

最左座標位置決定部１２１は、水平方向の列ごとに検出された左端の画素の位置の中から、最も左の画素の位置を決定する。

より具体的には、例えば、最左座標位置決定部１２１は、図２６に示される吹き出し形の有効領域における、横ライン（ｉ）ごとに検出された左端の画素の位置の中から、最も左の画素の位置、すなわち、ｘ軸上の最小の座標値ｍｉｎ＿ｘを決定する。

また、最左座標位置決定部１２１は、検出された最も左の画素の位置と左から２番目の画素の位置との差分が所定の閾値より大きい場合、左から２番目の位置を最も左の位置とする。

さらに、最左座標位置決定部１２１は、このように求めた最も左の画素の位置と左から３番目の画素の位置との差分が所定の閾値より大きい場合、左から３番目の位置を最も左の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

最右座標位置決定部１２２は、水平方向の列ごとに検出された右端の画素の位置の中から、最も右の画素の位置を決定する。

より具体的には、例えば、最右座標位置決定部１２２は、図２６に示される吹き出し形の有効領域における、横ライン（ｉ）ごとに検出された右端の画素の位置の中から、最も右の画素の位置、すなわち、ｘ軸上の最大の座標値ｍａｘ＿ｘを決定する。

また、最右座標位置決定部１２２は、検出された最も右の画素の位置と右から２番目の画素の位置との差分が所定の閾値より大きい場合、右から２番目の位置を最も右の位置とする。

さらに、最右座標位置決定部１２２は、このように求めた最も右の画素の位置と右から３番目の画素の位置との差分が所定の閾値より大きい場合、右から３番目の位置を最も右の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

最上座標位置決定部１２３は、垂直方向の列ごとに検出された上端の画素の位置の中から、最も上の画素の位置を決定する。

より具体的には、例えば、最上座標位置決定部１２３は、図２６に示される吹き出し形の有効領域における、縦ライン（ｊ）ごとに検出された上端の画素の位置の中から、最も上の画素の位置、すなわち、ｙ軸上の最小の座標値ｍｉｎ＿ｙを決定する。

また、最上座標位置決定部１２３は、検出された最も上の画素の位置と上から２番目の画素の位置との差分が所定の閾値より大きい場合、上から２番目の位置を最も上の位置とする。

さらに、最上座標位置決定部１２３は、このように求めた最も上の画素の位置と上から３番目の画素の位置との差分が所定の閾値より大きい場合、上から３番目の位置を最も上の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

最下座標位置決定部１２４は、垂直方向の列ごとに検出された下端の画素の位置の中から、最も下の画素の位置を決定する。

より具体的には、例えば、最下座標位置決定部１２４は、図２６に示される吹き出し形の有効領域における、縦ライン（ｊ）ごとに検出された下端の画素の位置の中から、最も下の画素の位置、すなわち、ｙ軸上の最大の座標値ｍａｘ＿ｙを決定する。

また、最下座標位置決定部１２４は、検出された最も下の画素の位置と下から２番目の画素の位置との差分が所定の閾値より大きい場合、下から２番目の位置を最も下の位置とする。

さらに、最下座標位置決定部１２４は、このように求めた最も下の画素の位置と下から３番目の画素の位置との差分が所定の閾値より大きい場合、下から３番目の位置を最も下の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

図２７は、図７のフローチャートのステップＳ２に対応する、フレーム内の有効領域の座標位置決定の処理のさらに他の例を示すフローチャートである。

図２７のフローチャートにおけるステップＳ１１０１乃至ステップＳ１１１２の処理は、図１１のステップＳ１０１およびステップＳ１１２の処理のそれぞれと同様であるので、その説明は省略する。さらに、図２７のフローチャートにおけるステップＳ１１０４およびステップＳ１１０５、並びにステップＳ１１０９およびステップＳ１１１０の処理は、図１２乃至図１５のフローチャートを参照して説明した処理、または図１９乃至図２２のフローチャートを参照して説明した処理と同様であるので、それらの処理についての説明も省略する。

ステップＳ１１１２の処理が終了した時点で、有効領域座標位置決定部４１によって、それぞれの横ライン（ｉ）についての有効領域の左座標位置および右座標位置、並びにそれぞれの縦ライン（ｊ）についての有効領域の上座標位置および下座標位置が求められている。このとき、有効領域座標位置決定部４１は、求められた有効領域の左座標位置、右座標位置、上座標位置、および下座標位置を、矩形有効領域座標位置決定部１０１に供給し、ステップＳ１１１３乃至ステップＳ１１１６が同時に実行される。

ステップＳ１１１３において、最左座標位置決定部１２１は、水平方向の列ごとに検出された左端の画素の位置の中から、最も左の画素の位置を決定する。すなわち、最左座標位置決定部１２１は、最左座標位置決定処理を行う。

ここで、図２８のフローチャートを参照して、ステップＳ１１１３に対応する、最左座標位置決定処理の詳細な例について説明する。

ステップＳ１１３１において、最左座標位置決定部１２１は、有効領域座標位置決定部４１から供給されてくる全ての横ライン（ｉ）と、これに対応する左座標位置とを読み込む。

ステップＳ１１３２において、最左座標位置決定部１２１は、最小値除外リストを初期化する。最小値除外リストは、例えば、最左座標位置決定部１２１に記憶されるリストであって、左座標位置が小さい順に、横ライン番号、すなわちｙ軸の座標値ｉと左座標位置とを対応させて蓄える。

ステップＳ１１３３において、最左座標位置決定部１２１は、最小値除外リストに蓄えられているライン以外の最小の左座標を算出する。

ステップＳ１１３４において、最左座標位置決定部１２１は、所定の変数temp_leftに、算出した横ライン番号と左座標とを代入する。所定の変数temp_leftは、横ライン番号と左座標と対応させて一時的に記憶する。

ステップＳ１１３５において、最左座標位置決定部１２１は、所定の変数temp_leftに代入された左座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ１１３５において、最小値除外リストは初期化されているので、最左座標位置決定部１２１は、所定の変数temp_leftに代入された左座標をそのまま絶対差分値として出力する。

ステップＳ１１３６において、最左座標位置決定部１２１は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ１１３６において、差分が閾値以上であると判定された場合、処理は、ステップＳ１１３７に進む。

ステップＳ１１３７において、最左座標位置決定部１２１は、最小値除外リストに、所定の変数temp_leftに代入された横ライン番号と左座標とを加え、処理は、ステップＳ１１３３に戻る。

一方、ステップＳ１１３６において、差分が閾値以上でないと判定された場合、処理は、ステップＳ１１３８に進む。

ステップＳ１１３８において、最左座標位置決定部１２１は、最小値除外リストが空であるか否かを判定する。

ステップＳ１１３８において、最小値除外リストが空であると判定された場合、処理は、ステップＳ１１３７に進む。

一方、ステップＳ１１３８において、最小値除外リストが空でないと判定された場合、処理は、ステップＳ１１３９に進む。

ステップＳ１１３９において、最左座標位置決定部１２１は、最小値除外リストの最大値の左座標をｘ軸上の最小の座標値ｍｉｎ_ｘに設定して、処理は終了する。

このようにして、最左座標位置決定部１２１は、最小値除外リストを用いて、左座標位置の最小の座標値とその次に小さい座標値とを比較することにより、横ライン（ｉ）ごとに検出された左端の画素の中から、最も左の画素の位置を決定することができる。

図２７に戻り、ステップＳ１１１４において、最右座標位置決定部１２２は、水平方向の列ごとに検出された右端の画素の位置の中から、最も右の画素の位置を決定する。すなわち、最右座標位置決定部１２２は、最右座標位置決定処理を行う。

ここで、図２９のフローチャートを参照して、ステップＳ１１１４に対応する、最右座標位置決定処理の詳細な例について説明する。

ステップＳ１１５１において、最右座標位置決定部１２２は、有効領域座標位置決定部４１から供給されてくる全ての横ライン（ｉ）と、これに対応する右座標位置とを読み込む。

ステップＳ１１５２において、最右座標位置決定部１２２は、最大値除外リストを初期化する。最大値除外リストは、例えば、最右座標位置決定部１２２に記憶されるリストであって、右座標位置が大きい順に、横ライン番号、すなわちｙ軸の座標値ｉと右座標位置とを対応させて蓄える。

ステップＳ１１５３において、最右座標位置決定部１２２は、最大値除外リストに蓄えられているライン以外の最大の右座標を算出する。

ステップＳ１１５４において、最右座標位置決定部１２２は、所定の変数temp_rightに、算出した横ライン番号と右座標とを代入する。所定の変数temp_rightは、横ライン番号と右座標と対応させて一時的に記憶する。

ステップＳ１１５５において、最右座標位置決定部１２２は、所定の変数temp_rightに代入された右座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ１１５５において、最大値除外リストは初期化されているので、最右座標位置決定部１２２は、所定の変数temp_rightに代入された右座標をそのまま絶対差分値として出力する。

ステップＳ１１５６において、最右座標位置決定部１２２は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ１１５６において、差分が閾値以上であると判定された場合、処理は、ステップＳ１１５７に進む。

ステップＳ１１５７において、最右座標位置決定部１２２は、最大値除外リストに、所定の変数temp_rightに代入された横ライン番号と右座標とを加え、処理は、ステップＳ１１５３に戻る。

一方、ステップＳ１１５６において、差分が閾値以上でないと判定された場合、処理は、ステップＳ１１５８に進む。

ステップＳ１１５８において、最右座標位置決定部１２２は、最大値除外リストが空であるか否かを判定する。

ステップＳ１１５８において、最小値除外リストが空であると判定された場合、処理は、ステップＳ１１５７に進む。

一方、ステップＳ１１５８において、最小値除外リストが空でないと判定された場合、処理は、ステップＳ１１５９に進む。

ステップＳ１１５９において、最右座標位置決定部１２２は、最大値除外リストの最小値の右座標をｘ軸上の最大の座標値ｍａｘ_ｘに設定して、処理は終了する。

このようにして、最右座標位置決定部１２２は、最大値除外リストを用いて、右座標位置の最大の座標値とその次に大きい座標値と比較することにより、横ライン（ｉ）ごとに検出された右端の画素の中から、最も右の画素の位置を決定することができる。

図２７に戻り、ステップＳ１１１５において、最上座標位置決定部１２３は、垂直方向の列ごとに検出された上端の画素の位置の中から、最も上の画素の位置を決定する。すなわち、最上座標位置決定部１２３は、最上座標位置決定処理を行う。

ここで、図３０のフローチャートを参照して、ステップＳ１１１５に対応する、最上座標位置決定処理の詳細な例について説明する。

ステップＳ１１７１において、最上座標位置決定部１２３は、有効領域座標位置決定部４１から供給されてくる全ての縦ライン（ｊ）と、これに対応する上座標位置とを読み込む。

ステップＳ１１７２において、最上座標位置決定部１２３は、最小値除外リストを初期化する。最小値除外リストは、例えば、最上座標位置決定部１２３に記憶されるリストであって、上座標位置が小さい順に、縦ライン番号、すなわちｘ軸の座標値ｊと上座標位置とを対応させて蓄える。

ステップＳ１１７３において、最上座標位置決定部１２３は、最小値除外リストに蓄えられているライン以外の最小の上座標を算出する。

ステップＳ１１７４において、最上座標位置決定部１２３は、所定の変数temp_upperに、算出した縦ライン番号と上座標とを代入する。所定の変数temp_upperは、縦ライン番号と上座標と対応させて一時的に記憶する。

ステップＳ１１７５において、最上座標位置決定部１２３は、所定の変数temp_upperに代入された上座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ１１７５において、最小値除外リストは初期化されているので、最上座標位置決定部１２３は、所定の変数temp_upperに代入された上座標をそのまま絶対差分値として出力する。

ステップＳ１１７６において、最上座標位置決定部１２３は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ１１７６において、差分が閾値以上であると判定された場合、処理は、ステップＳ１１７７に進む。

ステップＳ１１７７において、最上座標位置決定部１２３は、最小値除外リストに、所定の変数temp_upperに代入された縦ライン番号と上座標とを加え、処理は、ステップＳ１１７３に戻る。

一方、ステップＳ１１７６において、差分が閾値以上でないと判定された場合、処理は、ステップＳ１１７８に進む。

ステップＳ１１７８において、最上座標位置決定部１２３は、最小値除外リストが空であるか否かを判定する。

ステップＳ１１７８において、最小値除外リストが空であると判定された場合、処理は、ステップＳ１１７７に進む。

一方、ステップＳ１１７８において、最小値除外リストが空でないと判定された場合、処理は、ステップＳ１１７９に進む。

ステップＳ１１７９において、最上座標位置決定部１２３は、最小値除外リストの最大値の上座標をｙ軸上の最小の座標値ｍｉｎ_ｙに設定して、処理は終了する。

このようにして、最上座標位置決定部１２３は、最小値除外リストを用いて、上座標位置の最小の座標値とその次に小さい座標値と比較することにより、縦ライン（ｊ）ごとに検出された上端の画素の中から、最も上の画素の位置を決定することができる。

図２７に戻り、ステップＳ１１１６において、最下座標位置決定部１２４は、垂直方向の列ごとに検出された下端の画素の位置の中から、最も下の画素の位置を決定する。すなわち、最下座標位置決定部１２４は、最下座標位置決定処理を行う。

ここで、図３１のフローチャートを参照して、ステップＳ１１１６に対応する、最下座標位置決定処理の詳細な例について説明する。

ステップＳ１１９１において、最下座標位置決定部１２４は、有効領域座標位置決定部４１から供給されてくる全ての縦ライン（ｊ）と、これに対応する下座標位置とを読み込む。

ステップＳ１１９２において、最下座標位置決定部１２４は、最大値除外リストを初期化する。最大値除外リストは、例えば、最下座標位置決定部１２４に記憶されるリストであって、下座標位置が大きい順に、縦ライン番号、すなわちｘ軸の座標値ｊと下座標位置とを対応させて蓄える。

ステップＳ１１９３において、最下座標位置決定部１２４は、最大値除外リストに蓄えられているライン以外の最大の下座標を算出する。

ステップＳ１１９４において、最下座標位置決定部１２４は、所定の変数temp_lowerに、算出した縦ライン番号と下座標とを代入する。所定の変数temp_lowerは、縦ライン番号と下座標と対応させて一時的に記憶する。

ステップＳ１１９５において、最下座標位置決定部１２４は、所定の変数temp_lowerに代入された下座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ１１９５において、最大値除外リストは初期化されているので、最下座標位置決定部１２４は、所定の変数temp_lowerに代入された下座標をそのまま絶対差分値として出力する。

ステップＳ１１９６において、最下座標位置決定部１２４は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ１１９６において、差分が閾値以上であると判定された場合、処理は、ステップＳ１１９７に進む。

ステップＳ１１９７において、最下座標位置決定部１２４は、最大値除外リストに、所定の変数temp_lowerに代入された縦ライン番号と下座標とを加え、処理は、ステップＳ１１９３に戻る。

一方、ステップＳ１１９６において、差分が閾値以上でないと判定された場合、処理は、ステップＳ１１９８に進む。

ステップＳ１１９８において、最下座標位置決定部１２４は、最大値除外リストが空であるか否かを判定する。

ステップＳ１１９８において、最大値除外リストが空であると判定された場合、処理は、ステップＳ１１９７に進む。

一方、ステップＳ１１９８において、最大値除外リストが空でないと判定された場合、処理は、ステップＳ１１９９に進む。

ステップＳ１１９９において、最下座標位置決定部１２４は、最大値除外リストの最小値の下座標をｙ軸上の最大の座標値ｍａｘ_ｙに設定して、処理は終了する。

このようにして、最下座標位置決定部１２４は、最大値除外リストを用いて、下座標位置の最大の座標値とその次に大きい座標値と比較することにより、縦ライン（ｊ）ごとに検出された下端の画素の中から、最も下の画素の位置を決定することができる。

以上のようにして、矩形有効領域座標位置決定部１０１は、有効領域の座標位置に基づいて、矩形の有効領域の座標上の位置を決定することができる。

さらに、図２７のフローチャートの処理においては、横ライン（ｉ）についての処理を先に行ったが、縦ライン（ｊ）についての処理を先に行うようにしてもよい。以下、この場合の処理について説明する。

図３２は、フレーム内の有効領域の座標位置決定の処理のさらに他の例を示すフローチャートである。

図３２のフローチャートにおけるステップＳ１３０１乃至ステップＳ１３１２の処理は、図１８のフローチャートにおけるステップＳ３０１およびステップＳ３１２の処理のそれぞれと同様であるので、その説明は省略する。また、図３２のフローチャートにおけるステップＳ１３０４およびステップＳ１３０５、並びにステップＳ１３０９およびステップＳ１３１０の処理は、図１２乃至図１５のフローチャートを参照して説明した処理、または図１９乃至図２２のフローチャートを参照して説明した処理と同様であるので、それらの処理についての説明も省略する。

さらに、図３２のフローチャートにおけるステップＳ１３１３乃至ステップＳ１３１６の処理は、図２７のフローチャートにおけるステップＳ１１１３乃至ステップＳ１１１６の処理のそれぞれと同様であるので、その説明も省略する。

すなわち、図２７のフローチャートの処理においては、横ライン（ｉ）についての処理を先に行ったが、図３２のフローチャートの処理のように、縦ライン（ｊ）についての処理を先に行うようにすることもできる。

またさらに、図２７および図３２のフローチャートの処理においては、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを直列に行ったが、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを並列に行うようにしてもよい。以下、この場合の処理について説明する。

図３３は、フレーム内の有効領域の座標位置決定の処理のさらに他の例を示すフローチャートである。

図３３のフローチャートにおけるステップＳ１５０１乃至ステップＳ１５１２の処理は、図２３のフローチャートにおけるステップＳ５０１およびステップＳ５１２の処理のそれぞれと同様であるので、その説明は省略する。また、図３３のフローチャートにおけるステップＳ１５０４およびステップＳ１５０５、並びにステップＳ１５０９およびステップＳ１５１０の処理は、図１２乃至図１５のフローチャートを参照して説明した処理、または図１９乃至図２２のフローチャートを参照して説明した処理と同様であるので、それらの処理についての説明も省略する。

さらに、図３３のフローチャートにおけるステップＳ１５１３乃至ステップＳ１５１６の処理は、図２７のフローチャートにおけるステップＳ１１１３乃至ステップＳ１１１６の処理のそれぞれと同様であるので、その説明も省略する。

すなわち、図２７および図３２のフローチャートの処理においては、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを直列に行うようにしたが、図３３のフローチャートのように、横ライン（ｉ）についての処理と縦ライン（ｊ）についての処理とを並列に行うようにすることもできる。

このようにして、フレーム内座標位置決定部１２は、フレーム内の任意の形状の有効領域の座標位置決定処理を実行し、さらに、矩形の有効領域の座標位置決定処理を実行することで、矩形の有効領域の座標の位置を決定することができる。

なお、図２４のフレーム内座標位置決定部１２において、有効領域座標位置設定部４１の前にローパスフィルタを設け、ノイズの影響を低減させた有効領域の座標位置を検出するようにしてもよい。この場合、例えば、図２７のフローチャートにおけるステップＳ１１１３乃至ステップＳ１１１６の処理により決定される矩形の有効領域の座標位置は、単純に最左座標位置、最右座標位置、最上座標位置、および最下座標位置より決定されるようにしてもよい。

図３４は、図５の有効領域検出装置１におけるフレーム内座標位置決定部１２の構成のさらに他の例を示すブロック図である。

図３４のフレーム内座標位置決定部１２は、有効領域座標位置決定部４１および座標位置最適化部１６１を有する。座標位置最適化部１６１は、有効領域座標位置決定部４１から供給される有効領域の座標の位置、すなわち、それぞれの横ライン（ｉ）についての有効領域の左座標位置および右座標位置、並びにそれぞれの縦ライン（ｊ）についての有効領域の上座標位置および下座標位置に、適切な座標位置を割り当てる。

図３５は、座標位置最適化部１６１の構成の例を示すブロック図である。

座標位置最適化部１６１は、左座標位置最適化部１８１、右座標位置最適化部１８２、上座標位置最適化部１８３、および下座標位置最適化部１８４から構成される。

左座標位置最適化部１８１は、横ライン（ｉ）ごとに検出された左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が所定の閾値より大きい場合、最も左の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を最も左の位置とする。さらに、左座標位置最適化部１８１は、左から２番目の画素の位置と左から３番目の画素の位置との差分が所定の閾値より大きい場合、左から２番目の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を２番目に左の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

また、左座標位置最適化部１８１は、横ライン（ｉ）ごとに検出された左端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が所定の閾値より大きい場合、最も右の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を最も右の位置とする。さらに、左座標位置最適化部１８１は、右から２番目の画素の位置と右から３番目の画素の位置との差分が所定の閾値より大きい場合、右から２番目の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を２番目に右の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

より具体的には、例えば、左座標位置最適化部１８１は、図３６に示す画像のように、吹き出し形の有効領域の左端の画素であって、有効領域の外側にノイズの影響を受けた画素が存在する場合、この画素が検出された横ラインの上および下に位置する横ラインにおいて検出された左端の画素の座標位置の平均値を、ノイズの影響を受けた画素の座標位置として割り当てる。また、例えば、左座標位置最適化部１８１は、図示しないが、吹き出し形の有効領域の左端の画素であって、有効領域の内側にノイズの影響を受けた画素が存在する場合にも、同様の処理を行う。すなわち、左座標位置最適化部１８１は、左座標位置の最適化を行う。

右座標位置最適化部１８２は、横ライン（ｉ）ごとに検出された右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が所定の閾値より大きい場合、最も左の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を最も左の位置とする。さらに、右座標位置最適化部１８２は、左から２番目の画素の位置と左から３番目の画素の位置との差分が所定の閾値より大きい場合、左から２番目の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を２番目に左の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

また、右座標位置最適化部１８２は、横ライン（ｉ）ごとに検出された右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が所定の閾値より大きい場合、最も右の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を最も右の位置とする。さらに、右座標位置最適化部１８２は、右から２番目の画素の位置と右から３番目の画素の位置との差分が所定の閾値より大きい場合、右から２番目の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を２番目に右の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

より具体的には、例えば、右座標位置最適化部１８２は、図３６に示す画像のように、吹き出し形の有効領域の右端の画素であって、有効領域の外側にノイズの影響を受けた画素が存在する場合、この画素が検出された横ラインの上および下に位置する横ラインにおいて検出された右端の画素の座標位置の平均値を、ノイズの影響を受けた画素の座標位置として割り当てる。また、例えば、右座標位置最適化部１８２は、図示しないが、吹き出し形の有効領域の右端の画素であって、有効領域の内側にノイズの影響を受けた画素が存在する場合にも、同様の処理を行う。すなわち、右座標位置最適化部１８２は、右座標位置の最適化を行う。

上座標位置最適化部１８３は、縦ライン（ｊ）ごとに検出された上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が所定の閾値より大きい場合、最も上の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を最も上の位置とする。さらに、上座標位置最適化部１８３は、上から２番目の画素の位置と上から３番目の画素の位置との差分が所定の閾値より大きい場合、上から２番目の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を２番目に上の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

また、上座標位置最適化部１８３は、縦ライン（ｊ）ごとに検出された上端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が所定の閾値より大きい場合、最も下の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を最も下の位置とする。さらに、上座標位置最適化部１８３は、下から２番目の画素の位置と下から３番目の画素の位置との差分が所定の閾値より大きい場合、下から２番目の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を２番目に下の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

より具体的には、例えば、上座標位置最適化部１８３は、図３６に示す画像のように、吹き出し形の有効領域の上端の画素であって、有効領域の内側にノイズの影響を受けた画素が存在する場合、この画素が検出された縦ラインの左および右に位置する縦ラインにおいて検出された上端の画素の座標位置の平均値を、ノイズの影響を受けた画素の座標位置として割り当てる。また、例えば、上座標位置最適化部１８３は、図示しないが、吹き出し形の有効領域の上端の画素であって、有効領域の外側にノイズの影響を受けた画素が存在する場合にも、同様の処理を行う。すなわち、上座標位置最適化部１８３は、上座標位置の最適化を行う。

下座標位置最適化部１８４は、縦ライン（ｊ）ごとに検出された下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が所定の閾値より大きい場合、最も上の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を最も上の位置とする。さらに、下座標位置最適化部１８４は、上から２番目の画素の位置と上から３番目の画素の位置との差分が所定の閾値より大きい場合、上から２番目の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を２番目に上の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

また、下座標位置最適化部１８４は、縦ライン（ｊ）ごとに検出された下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が所定の閾値より大きい場合、最も下の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を最も下の位置とする。さらに、下座標位置最適化部１８４は、下から２番目の画素の位置と下から３番目の画素の位置との差分が所定の閾値より大きい場合、下から２番目の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を２番目に下の位置とし、差分が所定の閾値以下になるまで、これを繰り返す。

より具体的には、例えば、下座標位置最適化部１８４は、図３６に示す画像のように、吹き出し形の有効領域の下端の画素であって、有効領域の内側にノイズの影響を受けた画素が存在する場合、この画素が検出された縦ラインの左および右に位置する縦ラインにおいて検出された下端の画素の座標位置の平均値を、ノイズの影響を受けた画素の座標位置として割り当てる。また、例えば、下座標位置最適化部１８４は、図示しないが、吹き出し形の有効領域の下端の画素であって、有効領域の外側にノイズの影響を受けた画素が存在する場合にも、同様の処理を行う。すなわち、下座標位置最適化部１８４は、下座標位置の最適化を行う。

図３７は、図７のフローチャートのステップＳ２に対応する、フレーム内の有効領域の座標位置決定の処理のさらに他の例を示すフローチャートである。

図３７のフローチャートにおけるステップＳ２１０１乃至ステップＳ２１１２の処理は、図１１のフローチャートにおけるステップＳ１０１およびステップＳ１１２の処理のそれぞれと同様であるので、その説明は省略する。また、さらに、図３７のフローチャートにおけるステップＳ２１０４およびステップＳ２１０５、並びにステップＳ２１０９およびステップＳ２１１０の処理は、図１２乃至図１５のフローチャートを参照して説明した処理、または図１９乃至図２２のフローチャートを参照して説明した処理と同様であるので、それらの処理についての説明も省略する。

ステップＳ２１１２の処理が終了した時点で、有効領域座標位置決定部４１によって、それぞれの横ライン（ｉ）についての有効領域の左座標位置および右座標位置、並びにそれぞれの縦ライン（ｊ）についての有効領域の上座標位置および下座標位置が求められている。このとき、有効領域座標位置決定部４１は、求められた有効領域の左座標位置、右座標位置、上座標位置、および下座標位置を、座標位置最適化部１６１に供給し、ステップＳ２１１３乃至ステップＳ２１２０が同時に実行される。

ステップＳ２１１３において、左座標位置最適化部１８１は、横ライン（ｉ）ごとに検出された左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が所定の閾値より大きい場合、最も左の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を最も左の位置とする。すなわち、左座標位置最適化部１８１は、左端の画素の中の最も左に位置する、すなわち最小の座標値となる左端の画素の位置の最適化を行う。

ここで、図３８のフローチャートを参照して、ステップＳ２１１３に対応する、左座標最小値最適化の処理の詳細な例について説明する。

ステップＳ２１３１において、左座標位置最適化部１８１は、有効領域座標位置決定部４１から供給されてくる全ての横ライン（ｉ）と、これに対応する左座標位置とを読み込む。

ステップＳ２１３２において、左座標位置最適化部１８１は、読み込んだ全ての横ライン（ｉ）の中から、１ライン全てが黒領域であるラインを除外する。

より具体的には、例えば、左座標位置最適化部１８１は、左座標位置が１ラインの最大値、すなわち、図１２または図１９のフローチャートを参照して説明した処理によって出力される座標値であって、図１０におけるｘ軸上の座標値ｋがｋ＝ROW−１であるもの全てを除外する。またさらに、例えば、左座標位置最適化部１８１は、連続する黒領域であるラインをまとめて除外するようにしてもよい。すなわち、例えば、図２６に示されるｙ軸上の最小の座標値ｍｉｎ＿ｙより上側の領域およびｙ軸上の最大の座標値ｍａｘ＿ｙより下側の領域は除外されるようにしてもよい。また、この場合、ｙ軸上の最小の座標値ｍｉｎ＿ｙとｙ軸上の最大の座標値ｍａｘ＿ｙとの間に１ライン全てが黒領域であるラインが存在する場合でも、これは除外されないものとする。

ステップＳ２１３３において、左座標位置最適化部１８１は、最小値除外リストを初期化する。最小値除外リストは、例えば、左座標位置最適化部１８１に記憶されるリストであって、左座標位置が小さい順に、横ライン番号、すなわちｙ軸の座標値ｉと左座標位置とを対応させて蓄える。

ステップＳ２１３４において、左座標位置最適化部１８１は、最小値除外リストに蓄えられているライン以外の最小の左座標を算出する。

ステップＳ２１３５において、左座標位置最適化部１８１は、所定の変数temp_leftに、算出した横ライン番号と左座標とを代入する。所定の変数temp_leftは、横ライン番号と左座標と対応させて一時的に記憶する。

ステップＳ２１３６において、左座標位置最適化部１８１は、所定の変数temp_leftに代入された左座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ２１３６においては、最小値除外リストは初期化されているので、左座標位置最適化部１８１は、所定の変数temp_leftに代入された左座標をそのまま絶対差分値として出力する。

ステップＳ２１３７において、左座標位置最適化部１８１は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２１３７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２１３８に進む。

ステップＳ２１３８において、左座標位置最適化部１８１は、最小値除外リストの最大値に該当するラインの左座標に、上下のラインの左座標の値の平均値を割り当てる。ただし、最初のステップＳ２１３８においては、最小値除外リストは初期化されているので、何も実行されない。

ステップＳ２１３９において、左座標位置最適化部１８１は、最小値除外リストに所定の変数temp_leftに代入された横ライン番号と左座標とを加え、処理は、ステップＳ２１３４に戻る。

一方、ステップＳ２１３７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２１４０に進む。

ステップＳ２１４０において、左座標位置最適化部１８１は、最小値除外リストが空であるか否かを判定する。

ステップＳ２１４０において、最小値除外リストが空であると判定された場合、処理は、ステップＳ２１３９に進む。

一方、ステップＳ２１４０において、最小値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、左座標位置最適化部１８１は、最小値除外リストを用いて、左座標の最小の座標値とその次に小さい座標値とを比較することにより、左端の画素の中の最も左に位置する、すなわち最小の座標値となる左端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１４において、左座標位置最適化部１８１は、横ライン（ｉ）ごとに検出された左端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が所定の閾値より大きい場合、最も右の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における左端の画素の位置の平均値を最も右の位置とする。すなわち、左座標位置最適化部１８１は、左端の画素の中の最も右に位置する、すなわち最大の座標値となる左端の画素の位置の最適化を行う。

ここで、図３９のフローチャートを参照して、ステップＳ２１１４に対応する、左座標最大値最適化の処理の詳細な例について説明する。

なお、図３９のフローチャートにおけるステップＳ２１５１およびステップＳ２１５２の処理は、図３８のフローチャートにおけるステップＳ２１３１およびステップＳ２１３２の処理のそれぞれと同様であるので、その説明については省略する。

ステップＳ２１５３において、左座標位置最適化部１８１は、最大値除外リストを初期化する。最大値除外リストは、例えば、左座標位置最適化部１８１に記憶されるリストであって、左座標位置が大さい順に、横ライン番号、すなわちｙ軸の座標値ｉと左座標位置とを対応させて蓄える。

ステップＳ２１５４において、左座標位置最適化部１８１は、最大値除外リストに蓄えられているライン以外の最大の左座標を算出する。

ステップＳ２１５５において、左座標位置最適化部１８１は、所定の変数temp_leftに、算出した横ライン番号と左座標とを代入する。所定の変数temp_leftは、横ライン番号と左座標と対応させて一時的に記憶する。

ステップＳ２１５６において、左座標位置最適化部１８１は、所定の変数temp_leftに代入された左座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ２１５６においては、最大値除外リストは初期化されているので、左座標位置最適化部１８１は、所定の変数temp_leftに代入された左座標をそのまま絶対差分値として出力する。

ステップＳ２１５７において、左座標位置最適化部１８１は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２１５７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２１５８に進む。

ステップＳ２１５８において、左座標位置最適化部１８１は、最大値除外リストの最小値に該当するラインの左座標に、上下のラインの左座標の値の平均値を割り当てる。ただし、最初のステップＳ２１５８においては、最大値除外リストは初期化されているので、何も実行されない。

ステップＳ２１５９において、左座標位置最適化部１８１は、最大値除外リストに所定の変数temp_leftに代入された横ライン番号ｉと左座標とを加え、処理は、ステップＳ２１５４に戻る。

一方、ステップＳ２１５７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２１６０に進む。

ステップＳ２１６０において、左座標位置最適化部１８１は、最大値除外リストが空であるか否かを判定する。

ステップＳ２１６０において、最大値除外リストが空であると判定された場合、処理は、ステップＳ２１５９に進む。

一方、ステップＳ２１６０において、最大値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、左座標位置最適化部１８１は、最大値除外リストを用いて、左座標の最大の座標値とその次に大きい座標値とを比較することにより、左端の画素の中の最も右に位置する、すなわち最大の座標値となる左端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１５において、右座標位置最適化部１８２は、横ライン（ｉ）ごとに検出された右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が所定の閾値より大きい場合、最も左の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を最も左の位置とする。すなわち、右座標位置最適化部１８２は、右端の画素の中の最も左に位置する、すなわち最小の座標値となる右端の画素の位置の最適化を行う。

ここで、図４０のフローチャートを参照して、ステップＳ２１１５に対応する、右座標最小値最適化の処理の詳細な例について説明する。

ステップＳ２１７１において、右座標位置最適化部１８２は、有効領域座標位置決定部４１から供給されてくる全ての横ライン（ｉ）と、これに対応する右座標位置とを読み込む。

ステップＳ２１７２において、右座標位置最適化部１８２は、読み込んだ全ての横ライン（ｉ）の中から、１ライン全てが黒領域であるラインを除外する。

より具体的には、例えば、右座標位置最適化部１８２は、右座標位置が１ラインの最小値、すなわち、図１３または図２０のフローチャートを参照して説明した処理によって出力される座標値であって、図１０におけるｘ軸上の座標値ｍがｍ＝０であるもの全てを除外する。さらにまた、例えば、右座標位置最適化部１８２は、連続する黒領域であるラインをまとめて除外するようにしてもよい。すなわち、例えば、図２６に示されるｙ軸上の最小の座標値ｍｉｎ＿ｙより上側の領域およびｙ軸上の最大の座標値ｍａｘ＿ｙより下側の領域は除外されるようにしてもよい。また、この場合、ｙ軸上の最小の座標値ｍｉｎ＿ｙとｙ軸上の最大の座標値ｍａｘ＿ｙとの間に１ライン全てが黒領域であるラインが存在する場合でも、これは除外されないものとする。

ステップＳ２１７３において、右座標位置最適化部１８２は、最小値除外リストを初期化する。最小値除外リストは、例えば、右座標位置最適化部１８２に記憶されるリストであって、右座標位置が小さい順に、横ライン番号、すなわちｙ軸の座標値ｉと右座標位置とを対応させて蓄える。

ステップＳ２１７４において、右座標位置最適化部１８２は、最小値除外リストに蓄えられているライン以外の最小の右座標を算出する。

ステップＳ２１７５において、右座標位置最適化部１８２は、所定の変数temp_rightに、算出した横ライン番号と右座標とを代入する。所定の変数temp_rightは、横ライン番号と右座標と対応させて一時的に記憶する。

ステップＳ２１７６において、右座標位置最適化部１８２は、所定の変数temp_rightに代入された右座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ２１７６においては、最小値除外リストは初期化されているので、右座標位置最適化部１８２は、所定の変数temp_rightに代入された右座標をそのまま絶対差分値として出力する。

ステップＳ２１７７において、右座標位置最適化部１８２は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２１７７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２１７８に進む。

ステップＳ２１７８において、右座標位置最適化部１８２は、最小値除外リストの最大値に該当するラインの右座標に、上下のラインの右座標の値の平均値を割り当てる。ただし、最初のステップＳ２１７８においては、最小値除外リストは初期化されているので、何も実行されない。

ステップＳ２１７９において、右座標位置最適化部１８２は、最小値除外リストに所定の変数temp_rightに代入された横ライン番号と右座標とを加え、処理は、ステップＳ２１７４に戻る。

一方、ステップＳ２１７７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２１８０に進む。

ステップＳ２１８０において、右座標位置最適化部１８２は、最小値除外リストが空であるか否かを判定する。

ステップＳ２１８０において、最小値除外リストが空であると判定された場合、処理は、ステップＳ２１７９に進む。

一方、ステップＳ２１８０において、最小値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、右座標位置最適化部１８２は、最小値除外リストを用いて、右座標の最小の座標値とその次に小さい座標値とを比較することにより、右端の画素の中の最も左に位置する、すなわち最小の座標値となる右端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１６において、右座標位置最適化部１８２は、横ライン（ｉ）ごとに検出された右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が所定の閾値より大きい場合、最も右の画素が検出された横ライン（ｉ）に隣接する横ライン（ｉ−１）および横ライン（ｉ＋１）における右端の画素の位置の平均値を最も右の位置とする。すなわち、右座標位置最適化部１８２は、右端の画素の中の最も右に位置する、すなわち最大の座標値となる右端の画素の位置の最適化を行う。

ここで、図４１のフローチャートを参照して、ステップＳ２１１６に対応する、右座標最大値最適化の処理の詳細な例について説明する。

なお、図４１のフローチャートにおけるステップＳ２１９１およびステップＳ２１９２の処理は、図４０のフローチャートにおけるステップＳ２１７１およびステップＳ２１７２の処理のそれぞれと同様であるので、その説明については省略する。

ステップＳ２１９３において、右座標位置最適化部１８２は、最大値除外リストを初期化する。最大値除外リストは、例えば、右座標位置最適化部１８２に記憶されるリストであって、右座標位置が大さい順に、横ライン番号、すなわちｙ軸の座標値ｉと右座標位置とを対応させて蓄える。

ステップＳ２１９４において、右座標位置最適化部１８２は、最大値除外リストに蓄えられているライン以外の最大の右座標を算出する。

ステップＳ２１９５において、右座標位置最適化部１８２は、所定の変数temp_rightに、算出した横ライン番号と右座標とを代入する。所定の変数temp_rightは、横ライン番号と右座標と対応させて一時的に記憶する。

ステップＳ２１９６において、右座標位置最適化部１８２は、所定の変数temp_rightに代入された右座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ２１９６においては、最大値除外リストは初期化されているので、右座標位置最適化部１８２は、所定の変数temp_rightに代入された右座標をそのまま絶対差分値として出力する。

ステップＳ２１９７において、右座標位置最適化部１８２は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２１９７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２１９８に進む。

ステップＳ２１９８において、右座標位置最適化部１８２は、最大値除外リストの最小値に該当するラインの右座標に、上下のラインの右座標の値の平均値を割り当てる。ただし、最初のステップＳ２１９８においては、最大値除外リストは初期化されているので、何も実行されない。

ステップＳ２１９９において、右座標位置最適化部１８２は、最大値除外リストに所定の変数temp_rightに代入された横ライン番号と右座標とを加え、処理は、ステップＳ２１９４に戻る。

一方、ステップＳ２１９７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２２００に進む。

ステップＳ２２００において、右座標位置最適化部１８２は、最大値除外リストが空であるか否かを判定する。

ステップＳ２２００において、最大値除外リストが空であると判定された場合、処理は、ステップＳ２１９９に進む。

一方、ステップＳ２２００において、最大値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、右座標位置最適化部１８２は、最大値除外リストを用いて、右座標の最大の座標値とその次に大きい座標値とを比較することにより、右端の画素の中の最も右に位置する、すなわち最大の座標値となる右端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１７において、上座標位置最適化部１８３は、縦ライン（ｊ）ごとに検出された上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が所定の閾値より大きい場合、最も上の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を最も上の位置とする。すなわち、上座標位置最適化部１８３は、上端の画素の中の最も上に位置する、すなわち最小の座標値となる上端の画素の位置の最適化を行う。

ここで、図４２のフローチャートを参照して、ステップＳ２１１７に対応する、上座標最小値最適化の処理の詳細な例について説明する。

ステップＳ２２１１において、上座標位置最適化部１８３は、有効領域座標位置決定部４１から供給されてくる全ての縦ライン（ｊ）と、これに対応する上座標位置とを読み込む。

ステップＳ２２１２において、上座標位置最適化部１８３は、読み込んだ全ての縦ライン（ｊ）の中から、１ライン全てが黒領域であるラインを除外する。

より具体的には、例えば、上座標位置最適化部１８３は、上座標位置が１ラインの最大値、すなわち、図１４または図２１のフローチャートを参照して説明した処理によって出力される座標値であって、図１０におけるｙ軸上の座標値ｒがｒ＝COL−１であるもの全てを除外する。また、例えば、上座標位置最適化部１８３は、連続する黒領域であるラインをまとめて除外するようにしてもよい。すなわち、例えば、図２６に示されるｘ軸上の最小の座標値ｍｉｎ＿ｘより左側の領域およびｘ軸上の最大の座標値ｍａｘ＿ｘより右側の領域は除外されるようにしてもよい。また、この場合、ｘ軸上の最小の座標値ｍｉｎ＿ｘとｘ軸上の最大の座標値ｍａｘ＿ｘとの間に１ライン全てが黒領域であるラインが存在する場合でも、これは除外されないものとする。

ステップＳ２２１３において、上座標位置最適化部１８３は、最小値除外リストを初期化する。最小値除外リストは、例えば、上座標位置最適化部１８３に記憶されるリストであって、上座標位置が小さい順に、縦ライン番号、すなわちｘ軸の座標値ｊと上座標位置とを対応させて蓄える。

ステップＳ２２１４において、上座標位置最適化部１８３は、最小値除外リストに蓄えられているライン以外の最小の上座標を算出する。

ステップＳ２２１５において、上座標位置最適化部１８３は、所定の変数temp_upperに、算出した縦ライン番号と上座標とを代入する。所定の変数temp_upperは、縦ライン番号と上座標と対応させて一時的に記憶する。

ステップＳ２２１６において、上座標位置最適化部１８３は、所定の変数temp_upperに代入された上座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ２２１６においては、最小値除外リストは初期化されているので、上座標位置最適化部１８３は、所定の変数temp_upperに代入された上座標をそのまま絶対差分値として出力する。

ステップＳ２２１７において、上座標位置最適化部１８３は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２２１７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２２１８に進む。

ステップＳ２２１８において、上座標位置最適化部１８３は、最小値除外リストの最大値に該当するラインの上座標に、左右のラインの上座標の値の平均値を割り当てる。ただし、最初のステップＳ２２１８においては、最小値除外リストは初期化されているので、何も実行されない。

ステップＳ２２１９において、上座標位置最適化部１８３は、最小値除外リストに所定の変数temp_upperに代入された縦ライン番号と上座標とを加え、処理は、ステップＳ２２１４に戻る。

一方、ステップＳ２２１７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２２２０に進む。

ステップＳ２２２０において、上座標位置最適化部１８３は、最小値除外リストが空であるか否かを判定する。

ステップＳ２２２０において、最小値除外リストが空であると判定された場合、処理は、ステップＳ２２１９に進む。

一方、ステップＳ２２２０において、最小値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、上座標位置最適化部１８３は、最小値除外リストを用いて、上座標の最小の座標値とその次に小さい座標値とを比較することにより、上端の画素の中の最も上に位置する、すなわち最小の座標値となる上端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１８において、上座標位置最適化部１８３は、縦ライン（ｊ）ごとに検出された上端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が所定の閾値より大きい場合、最も下の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における上端の画素の位置の平均値を最も下の位置とする。すなわち、上座標位置最適化部１８３は、上端の画素の中の最も下に位置する、すなわち最大の座標値となる上端の画素の位置の最適化を行う。

ここで、図４３のフローチャートを参照して、ステップＳ２１１８に対応する、上座標最大値最適化の処理の詳細な例について説明する。

なお、図４３のフローチャートにおけるステップＳ２２３１およびステップＳ２２３２の処理は、図４２のフローチャートにおけるステップＳ２２１１およびステップＳ２２１２の処理のそれぞれと同様であるので、その説明については省略する。

ステップＳ２２３３において、上座標位置最適化部１８３は、最大値除外リストを初期化する。最大値除外リストは、例えば、上座標位置最適化部１８３に記憶されるリストであって、上座標位置が大さい順に、縦ライン番号、すなわちｘ軸の座標値ｊと上座標位置とを対応させて蓄える。

ステップＳ２２３４において、上座標位置最適化部１８３は、最大値除外リストに蓄えられているライン以外の最大の上座標を算出する。

ステップＳ２２３５において、上座標位置最適化部１８３は、所定の変数temp_upperに、算出した縦ライン番号と上座標とを代入する。所定の変数temp_upperは、縦ライン番号と上座標と対応させて一時的に記憶する。

ステップＳ２２３６において、上座標位置最適化部１８３は、所定の変数temp_upperに代入された上座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ２２３６においては、最大値除外リストは初期化されているので、上座標位置最適化部１８３は、所定の変数temp_upperに代入された上座標をそのまま絶対差分値として出力する。

ステップＳ２２３７において、上座標位置最適化部１８３は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２２３７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２２３８に進む。

ステップＳ２２３８において、上座標位置最適化部１８３は、最大値除外リストの最小値に該当するラインの上座標に、左右のラインの上座標の値の平均値を割り当てる。ただし、最初のステップＳ２２３８においては、最大値除外リストは初期化されているので、何も実行されない。

ステップＳ２２３９において、上座標位置最適化部１８３は、最大値除外リストに所定の変数temp_upperに代入された縦ライン番号と上座標とを加え、処理は、ステップＳ２２３４に戻る。

一方、ステップＳ２２３７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２２４０に進む。

ステップＳ２２４０において、上座標位置最適化部１８３は、最大値除外リストが空であるか否かを判定する。

ステップＳ２２４０において、最大値除外リストが空であると判定された場合、処理は、ステップＳ２２３９に進む。

一方、ステップＳ２２４０において、最大値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、上座標位置最適化部１８３は、最大値除外リストを用いて、上座標の最大の座標値とその次に大きい座標値とを比較することにより、上端の画素の中の最も下に位置する、すなわち最大の座標値となる上端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１１９において、下座標位置最適化部１８４は、縦ライン（ｊ）ごとに検出された下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が所定の閾値より大きい場合、最も上の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を最も上の位置とする。すなわち、下座標位置最適化部１８４は、下端の画素の中の最も上に位置する、すなわち最小の座標値となる下端の画素の位置の最適化を行う。

ここで、図４４のフローチャートを参照して、ステップＳ２１１９に対応する、下座標最小値最適化の処理の詳細な例について説明する。

ステップＳ２２５１において、下座標位置最適化部１８４は、有効領域座標位置決定部４１から供給されてくる全ての縦ライン（ｊ）と、これに対応する下座標位置とを読み込む。

ステップＳ２２５２において、下座標位置最適化部１８４は、読み込んだ全ての縦ライン（ｊ）の中から、１ライン全てが黒領域であるラインを除外する。

より具体的には、例えば、下座標位置最適化部１８４は、下座標位置が１ラインの最小値、すなわち、図１５または図２２のフローチャートを参照して説明した処理によって出力される座標値であって、図１０におけるｙ軸上の座標値ｓがｓ＝０であるもの全てを除外する。また、例えば、下座標位置最適化部１８４は、連続する黒領域であるラインをまとめて除外するようにしてもよい。すなわち、例えば、図２６に示されるｘ軸上の最小の座標値ｍｉｎ＿ｘより左側の領域およびｘ軸上の最大の座標値ｍａｘ＿ｘより右側の領域は除外されるようにしてもよい。また、この場合、ｘ軸上の最大の座標値ｍｉｎ＿ｘとｘ軸上の最大の座標値ｍａｘ＿ｘとの間に１ライン全てが黒領域であるラインが存在する場合でも、これは除外されないものとする。

ステップＳ２２５３において、下座標位置最適化部１８４は、最小値除外リストを初期化する。最小値除外リストは、例えば、下座標位置最適化部１８４に記憶されるリストであって、下座標位置が小さい順に、縦ライン番号、すなわちｘ軸の座標値ｊと下座標位置とを対応させて蓄える。

ステップＳ２２５４において、下座標位置最適化部１８４は、最小値除外リストに蓄えられているライン以外の最小の下座標を算出する。

ステップＳ２２５５において、下座標位置最適化部１８４は、所定の変数temp_lowerに、算出した縦ライン番号と下座標とを代入する。所定の変数temp_lowerは、縦ライン番号と下座標と対応させて一時的に記憶する。

ステップＳ２２５６において、下座標位置最適化部１８４は、所定の変数temp_lowerに代入された下座標と最小値除外リストの中の最大値との絶対差分値を算出する。ただし、最初のステップＳ２２５６においては、最小値除外リストは初期化されているので、下座標位置最適化部１８４は、所定の変数temp_lowerに代入された下座標をそのまま絶対差分値として出力する。

ステップＳ２２５７において、下座標位置最適化部１８４は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２２５７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２２５８に進む。

ステップＳ２２５８において、下座標位置最適化部１８４は、最小値除外リストの最大値に該当するラインの下座標に、左右のラインの下座標の値の平均値を割り当てる。ただし、最初のステップＳ２２５８においては、最小値除外リストは初期化されているので、何も実行されない。

ステップＳ２２５９において、下座標位置最適化部１８４は、最小値除外リストに所定の変数temp_lowerに代入された縦ライン番号と下座標とを加え、処理は、ステップＳ２２５４に戻る。

一方、ステップＳ２２５７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２２６０に進む。

ステップＳ２２６０において、下座標位置最適化部１８４は、最小値除外リストが空であるか否かを判定する。

ステップＳ２２６０において、最小値除外リストが空であると判定された場合、処理は、ステップＳ２２５９に進む。

一方、ステップＳ２２６０において、最小値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、下座標位置最適化部１８４は、最小値除外リストを用いて、下座標の最小の座標値とその次に小さい座標値とを比較することにより、下端の画素の中の最も上に位置する、すなわち最小の座標値となる下端の画素の位置の最適化を行うことができる。

図３７に戻り、ステップＳ２１２０において、下座標位置最適化部１８４は、縦ライン（ｊ）ごとに検出された下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が所定の閾値より大きい場合、最も下の画素が検出された縦ライン（ｊ）に隣接する縦ライン（ｊ−１）および縦ライン（ｊ＋１）における下端の画素の位置の平均値を最も下の位置とする。すなわち、下座標位置最適化部１８４は、下端の画素の中の最も下に位置する、すなわち最大の座標値となる下端の画素の位置の最適化を行う。

ここで、図４５のフローチャートを参照して、ステップＳ２１２０に対応する、下座標最大値最適化の処理の詳細な例について説明する。

なお、図４５のフローチャートにおけるステップＳ２２７１およびステップＳ２２７２の処理は、図４４のフローチャートにおけるステップＳ２２５１およびステップＳ２２５２の処理のそれぞれと同様であるので、その説明については省略する。

ステップＳ２２７３において、下座標位置最適化部１８４は、最大値除外リストを初期化する。最大値除外リストは、例えば、下座標位置最適化部１８４に記憶されるリストであって、下座標位置が大きい順に、縦ライン番号、すなわちｘ軸の座標値ｊと下座標位置とを対応させて蓄える。

ステップＳ２２７４において、下座標位置最適化部１８４は、最大値除外リストに蓄えられているライン以外の最大の下座標を算出する。

ステップＳ２２７５において、下座標位置最適化部１８４は、所定の変数temp_lowerに、算出した縦ライン番号と下座標とを代入する。所定の変数temp_lowerは、縦ライン番号と下座標と対応させて一時的に記憶する。

ステップＳ２２７６において、下座標位置最適化部１８４は、所定の変数temp_lowerに代入された下座標と最大値除外リストの中の最小値との絶対差分値を算出する。ただし、最初のステップＳ２２７６においては、最大値除外リストは初期化されているので、下座標位置最適化部１８４は、所定の変数temp_lowerに代入された下座標をそのまま絶対差分値として出力する。

ステップＳ２２７７において、下座標位置最適化部１８４は、算出された絶対差分値と所定の閾値とを比較して、差分が閾値以上であるか否かを判定する。

ステップＳ２２７７において、差分が閾値以上であると判定された場合、処理は、ステップＳ２２７８に進む。

ステップＳ２２７８において、下座標位置最適化部１８４は、最大値除外リストの最小値に該当するラインの下座標に、左右のラインの下座標の値の平均値を割り当てる。ただし、最初のステップＳ２２７８においては、最大値除外リストは初期化されているので、何も実行されない。

ステップＳ２２７９において、下座標位置最適化部１８４は、最大値除外リストに所定の変数temp_lowerに代入された縦ライン番号と下座標とを加え、処理は、ステップＳ２２７４に戻る。

一方、ステップＳ２２７７において、差分が閾値以上でないと判定された場合、処理は、ステップＳ２２８０に進む。

ステップＳ２２８０において、下座標位置最適化部１８４は、最大値除外リストが空であるか否かを判定する。

ステップＳ２２８０において、最大値除外リストが空であると判定された場合、処理は、ステップＳ２２７９に進む。

一方、ステップＳ２２８０において、最大値除外リストが空でないと判定された場合、処理は、終了する。

このようにして、下座標位置最適化部１８４は、最大値除外リストを用いて、下座標の最大の座標値とその次に大きい座標値とを比較することにより、下端の画素の中の最も下に位置する、すなわち最大の座標値となる下端の画素の位置の最適化を行うことができる。

以上のように、座標位置最適化部１６１は、有効領域座標位置決定部４１から供給される有効領域の座標の位置、すなわち、それぞれの横ライン（ｉ）についての有効領域の左座標位置および右座標位置、並びにそれぞれの縦ライン（ｊ）についての有効領域の上座標位置および下座標位置に、適切な座標位置を割り当てることができる。

図３７に戻り、ステップＳ２１１３乃至ステップＳ２１２０の後、処理は終了する。

このようにして、フレーム内座標位置決定部１２は、フレーム内の任意の形状の有効領域の座標位置決定処理を実行し、さらに、座標位置最適化処理を実行することで、画像がノイズの影響を受けた場合でも、より正確な有効領域の座標の位置を決定することができる。

なお、フレーム内の有効領域の座標位置決定の処理のさらに他の例として、図３７のフローチャートにおけるステップＳ２１０１乃至ステップＳ２１１２の処理を、図１８のフローチャートにおけるステップＳ３０１乃至ステップＳ３１２の処理、若しくは図２３のフローチャートにおけるステップＳ５０１乃至ステップＳ５１２の処理と同様にするようにしてもよい。

また、上述した説明では、図３８乃至図４５のフローチャートにおける、１ライン全てが黒領域であるラインを除外する処理を、座標位置最適化部１６１が行うようにしたが、有効領域座標位置決定部４１が行うようにしてもよい。すなわち、ラインごとの有効領域の座標位置が検出されたあとに行うようにしてもよい。

なお、上述した説明において、図３７のフローチャートのステップＳ２１１３乃至ステップＳ２１２０の座標位置の最適化の処理は、図３６に示すような１つの座標軸の１つの向きに対して、１つのみのノイズが発生した場合を対象にしている。例えば、８などの予め定めた数を基準として、その数未満の同様のノイズが同じ向き、同じ大きさで発生した場合には、ノイズにより突出している画素の座標位置を検出し、さらにその近傍のラインにおける有効領域の画素の座標位置を用いて、座標位置を平均化することで、座標位置を最適化するようにしてもよい。

さらに、上述した説明において、座標位置の最適化の処理を図３７のフローチャートのステップＳ２１１３乃至ステップＳ２１２０の８処理行うようにしたが、有効領域の外側に対する処理、すなわち、左座標最小値最適化処理、右座標最大値最適化処理、上座標最小値最適化処理、および下座標最大値最適化処理の４処理のみを行うようにしてもよい。

また、上述した説明の各座標位置の最適化の処理において、最適化の対象となる画素の位置として、その画素の上下または左右の２ラインにおける画素の座標位置の平均値を割り当てるようにしたが、例えば、前後フレームの座標位置を用いたり、上下または左右の複数のラインにおける画素の座標位置の中心値を用いたり、上か下かどちらか１列、または左か右かどちらか１列のラインにおける画素の座標位置をそのまま用いたりするようにしてもよい。すなわち、座標位置最適化部１６１は、最適化される対象となる画素の近傍から予測される最も確からしい値を用いて最適化の処理を行う。

なお、上述の説明において、無効領域は、黒だけが表示される黒領域であるものとして説明したが、その領域自身の画像が有意でない領域であればよい。無効領域は、例えば、白だけが表示される白領域や、特定の色だけが表示される領域（例えば、クロマキー合成に用いられる青色領域など）であってもよい。

さらに、上述した説明においては、処理の対象とする画像は、２次元表示されるものとして説明してきたが、ｎ次元表示されるものであってもよい。例えば、ホログラフィによって空間に描画される３次元像を、処理の対象とするようにしてもよい。

以上のように、有意の領域である有効領域とその他の領域である無効領域とからなる画像が入力されるようにした場合には、入力された画像を処理することができる。また、無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、第１の閾値とその画素値とが比較されることによって、画像において水平方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、右端の画素の座標上の位置を検出し、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、上端の画素の座標上の位置を検出し、第１の閾値とその画素値とが比較されることによって、画像において垂直方向に１列に並ぶ画素の中の、無効領域の画素でないと判定された画素のうち、下端の画素の座標上の位置を検出するようにした場合には、無効領域と任意の形状の有効領域とを含む画像において、無効領域以外の有効領域を正確に検出することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図４６は、図５の有効領域検出装置１のハードウェアにより構成される機能をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU３０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU３０１は、バス３０４および入出力インタフェース３０５を介してユーザからキーボードやマウスなどからなる入力部３０６から指令が入力されると、それに対応してROM(Read Only Memory)３０２に格納されているプログラムを実行する。あるいはまた、CPU３０１は、ドライブ３１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバブルメディア３１１から読み出され、記憶部３０８にインストールされたプログラムを、RAM(Random Access Memory)３０３にロードして実行する。これにより、上述した図５の有効領域検出装置１の機能が、ソフトウェアにより実現されている。さらに、CPU３０１は、通信部３０９を制御して、外部と通信し、データの授受を実行する。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

クロスハッチ信号の例を示す図である。任意の形状の有効領域を有する映像信号の例を示す図である。従来の手法によるクロスハッチ信号の黒帯領域検出結果の例を示す図である。従来の手法による任意の形状の有効領域を有する映像信号の黒帯領域検出結果の例を示す図である。本発明を適用した有効領域検出装置の一実施の形態の構成を示す図である。フレームの表記方法を説明する図である。図５の有効領域検出装置による有効領域検出処理を説明するフローチャートである。図５のフレーム内座標位置決定部の構成の例を示すブロック図である。図８の有効領域座標位置決定部の構成の例を示すブロック図である。有効領域の座標位置の検出手法を説明する図である。フレーム内の有効領域の座標位置決定の処理の例を説明するフローチャートである。左座標位置検出処理の詳細な例を説明するフローチャートである。右座標位置検出処理の詳細な例を説明するフローチャートである。上座標位置検出処理の詳細な例を説明するフローチャートである。下座標位置検出処理の詳細な例を説明するフローチャートである。クロスハッチ信号の有効領域検出結果の例を示す図である。任意の形状の有効領域を有する映像信号の黒帯領域検出結果の例を示す図である。フレーム内の有効領域の座標位置決定の処理の他の例を説明するフローチャートである。左座標位置検出処理の詳細な他の例を説明するフローチャートである。右座標位置検出処理の詳細な他の例を説明するフローチャートである。上座標位置検出処理の詳細な他の例を説明するフローチャートである。下座標位置検出処理の詳細な他の例を説明するフローチャートである。フレーム内の有効領域の座標位置決定の処理のさらに他の例を説明するフローチャートである。図５のフレーム内座標位置決定部の構成の他の例を示すブロック図である。図２４の矩形有効領域座標位置決定部の構成の例を示すブロック図である。矩形の有効領域の座標位置の検出手法を説明する図である。フレーム内の有効領域の座標位置決定の処理のさらに他の例を説明するフローチャートである。最左座標位置決定の処理の詳細な例を説明するフローチャートである。最右座標位置決定の処理の詳細な例を説明するフローチャートである。最上座標位置決定の処理の詳細な例を説明するフローチャートである。最下座標位置決定の処理の詳細な例を説明するフローチャートである。フレーム内の有効領域の座標位置決定の処理のさらに他の例を説明するフローチャートである。フレーム内の有効領域の座標位置決定の処理のさらに他の例を説明するフローチャートである。図５のフレーム内座標位置決定部の構成のさらに他の例を示すブロック図である。図３４の座標位置最適化部の構成の例を示すブロック図である。有効領域の座標位置の最適化手法を説明する図である。フレーム内の有効領域の座標位置決定の処理のさらに他の例を説明するフローチャートである。左座標最小値の最適化の処理の詳細な例を説明するフローチャートである。左座標最大値の最適化の処理の詳細な例を説明するフローチャートである。右座標最小値の最適化の処理の詳細な例を説明するフローチャートである。右座標最大値の最適化の処理の詳細な例を説明するフローチャートである。上座標最小値の最適化の処理の詳細な例を説明するフローチャートである。上座標最大値の最適化の処理の詳細な例を説明するフローチャートである。下座標最小値の最適化の処理の詳細な例を説明するフローチャートである。下座標最大値の最適化の処理の詳細な例を説明するフローチャートである。パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１有効領域検出装置，１１前処理用フレームバッファ，１２フレーム内座標決定部，１３フレーム内信頼度計算部，１４，１５後フレームバッファ，１６処理対象フレームバッファ，１７，１８前フレームバッファ，１９前フレーム比較部，２０後フレーム比較部，２１比較結果判定部，４１有効領域座標位置決定部，６４左座標位置検出部，６５右座標位置検出部，６６上座標位置検出部，６７下座標位置検出部，１０１矩形有効領域座標位置決定部，１２１最左座標位置決定部，１２２最右座標位置決定部，１２３最上座標位置決定部，１２４最下座標位置決定部，１６１座標位置最適化部，１８１左座標位置最適化部，１８２右座標位置最適化部，１８３上座標位置最適化部，１８４下座標位置最適化部

Claims

有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、
前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記左座標位置検出手段、右座標位置検出手段、上座標位置検出手段、および下座標位置検出手段それぞれによって検出された前記画素の前記座標上の位置の信頼度を計算する信頼度計算手段と、
前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する特定手段と
を備える画像処理装置。
前記左座標位置検出手段は、前記第１の閾値と画素の画素値とが比較されるとともに、第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の前記座標上の位置を検出し、
前記右座標位置検出手段は、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、
前記上座標位置検出手段は、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、
前記下座標位置検出手段は、前記第１の閾値と画素の画素値とが比較されるとともに、前記第２の閾値と隣接する画素の画素値との絶対差分値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する
請求項１に記載の画像処理装置。
有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、
検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し、
前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する
ステップを含む画像処理方法。
有意の領域である有効領域とその他の領域である無効領域とからなる画像に関する処理を、コンピュータに行わせるプログラムにおいて、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、
検出された前記画素の前記座標上の位置に沿った部分の、有意な画素の割合に応じて、前記画素の前記座標上の位置の信頼度を計算し、
前記画像における所定のフレーム、および、前記所定のフレームと時間的に異なる複数のフレームについての前記信頼度のうち、最も信頼度の高いフレームの前記画素の前記座標上の位置を、前記有効領域の画素の座標として特定する
ステップを含むプログラム。
請求項４に記載のプログラムが記録されている記録媒体。
有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、
水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とする最左座標位置決定手段と、
水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とする最右座標位置決定手段と、
垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とする最上座標位置決定手段と、
垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とする最下座標位置決定手段と、
決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定する矩形有効領域座標決定手段と
を備える画像処理装置。
有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、
水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、左から２番目の位置を最も左の位置とし、
水平方向の列ごとに検出された前記右端の画素の位置の中の、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、右から２番目の位置を最も右の位置とし、
垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が前記第２の閾値より大きい場合、上から２番目の位置を最も上の位置とし、
垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、下から２番目の位置を最も下の位置とし、
決定された前記最も左の画素の位置、前記最も右の画素の位置、前記最も上の画素の位置、および前記最も下の画素の位置より、前記画像における矩形である前記有効領域の前記座標上の位置を決定する
ステップを含む画像処理方法。
有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理装置において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出する左座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出する右座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出する上座標位置検出手段と、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出する下座標位置検出手段と、
水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とする左座標位置最適化手段と、
水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とする右座標位置最適化手段と、
垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とする上座標位置最適化手段と、
垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とする下座標位置最適化手段と
を備える画像処理装置。
有意の領域である有効領域とその他の領域である無効領域とからなる画像を処理する画像処理方法において、
前記無効領域の画素であるか否かを判定するための第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、左端の画素の所定の座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において水平方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、右端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、上端の画素の前記座標上の位置を検出し、
前記第１の閾値とその画素値とが比較されることによって、前記画像において垂直方向に１列に並ぶ画素の中の、前記無効領域の画素でないと判定された画素のうち、下端の画素の前記座標上の位置を検出し、
水平方向の列ごとに検出された前記左端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における左端の画素の位置の平均値を最も右の位置とし、
水平方向の列ごとに検出された前記右端の画素の位置の中の、最も左の画素の位置と左から２番目の画素の位置との差分が第２の閾値より大きい場合、最も左の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も左の位置とするとともに、最も右の画素の位置と右から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も右の画素が検出された水平方向の列に隣接する２列における右端の画素の位置の平均値を最も右の位置とし、
垂直方向の列ごとに検出された前記上端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における上端の画素の位置の平均値を最も下の位置とし、
垂直方向の列ごとに検出された前記下端の画素の位置の中の、最も上の画素の位置と上から２番目の画素の位置との差分が第２の閾値より大きい場合、最も上の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も上の位置とするとともに、最も下の画素の位置と下から２番目の画素の位置との差分が前記第２の閾値より大きい場合、最も下の画素が検出された垂直方向の列に隣接する２列における下端の画素の位置の平均値を最も下の位置とする
ステップを含む画像処理方法。