JP4004217B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4004217B2 JP4004217B2 JP2000273021A JP2000273021A JP4004217B2 JP 4004217 B2 JP4004217 B2 JP 4004217B2 JP 2000273021 A JP2000273021 A JP 2000273021A JP 2000273021 A JP2000273021 A JP 2000273021A JP 4004217 B2 JP4004217 B2 JP 4004217B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- image
- region
- target
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は画像処理装置に関し、例えば、画像を編集・加工したり、対象画像(画像オブジェクト)単位に伝送するために、入力画像中から特定の画像オブジェクトを画素単位に検出する場合などに適用し得るものである。
【0002】
【従来の技術】
従来のこの種の画像処理装置に相当するものとしては、次の文献1に記載した方法がある。
【0003】
文献1:特開平6−292063号公報
この文献1の動領域検出方法では、フィールド間あるいはフレーム間の輝度信号差から時間的な輝度変化を画素単位に求め、輝度変化が存在する領域を画像オブジェクト(動領域)として検出する。
【0004】
当該動領域検出方法では、上記輝度変化の存在を判定するために、画像の全画面または部分画面における輝度信号差の平均値に応じた閾値を設定し、輝度信号差が該閾値よりも大きい画像領域を画像オブジェクトと判定する。
【0005】
【発明が解決しようとする課題】
しかしながら、上記の方法では、画像を撮影するカメラが振動する場合や、画像中の背景の一部に位置変動が見られる場合、その振動や位置変動がわずかなものであっても、背景領域での時間的輝度変化が大きくなるために背景領域を誤って画像オブジェクトと判定してしまう可能性が高かった。
【0006】
換言するなら、上記の方法では、輪郭線追跡の信頼性が低いために、画像オブジェクトの検出を高精度かつ安定的に行うことができなかった。
【0007】
【課題を解決するための手段】
かかる課題を解決するために、本発明では、入力画像の中から対象画像の持つ対象輪郭線を検出する画像処理装置において、(1)前記入力画像、及び、この入力画像に対応する背景画像を、所定の大きさのブロックに分け、各ブロックの平均色で比較し、背景画像との平均色の差が大きい対象画像領域のブロックと、背景画像との平均色の差が小さい背景画像領域のブロックと、背景画像との平均色の差が中間の値である前記対象画像の輪郭線を含む輪郭線包含領域のブロックとを検出した後、前記入力画像中における、前記対象画像領域のブロックが縦横に連続している対象画像領域の周囲に存在する、前記輪郭線包含領域のブロックを繋げた、前記対象輪郭線を含む幾何学的に閉じたドーナツ状の領域である輪郭線包含領域を生成する輪郭線包含領域生成手段と、(2)前記ドーナツ状の輪郭線包含領域を切断線で1箇所切断し、切断によりできた切断箇所の2辺を下辺及び上辺とするように、切断された前記ドーナツ状の輪郭線包含領域を直線状に引き延ばしたと見ることができる、下辺及び上辺が切断箇所での第1の長さを有し、右辺及び左辺が、下辺及び上辺の長さとして第1の長さを適用した場合に、前記ドーナツ状の輪郭線包含領域の面積と同様な面積を達成できる第2の長さを有する長方形領域に、前記ドーナツ状の輪郭線包含領域を幾何学的に変換する幾何学変換手段と、(3)変換された長方形領域内における、下辺及び上辺間に延びる前記対象輪郭線を、エッジ検出フィルタを適用した輪郭線方向の検出を繰返して検出する対象輪郭線検出手段と、(4)前記対象輪郭線検出手段によって検出された前記長方形領域内の対象輪郭線を、前記変換された長方形領域を幾何学的に前記ドーナツ状の輪郭線包含領域に逆変換する逆変換処理を前記長方形領域内の対象輪郭線に施して、前記ドーナツ状の輪郭線包含領域内の対象輪郭線を得る対象輪郭線逆変換手段とを備えることを特徴とする。
【0008】
【発明の実施の形態】
(A)実施形態
以下、本発明にかかる画像処理装置の実施形態について説明する。
【0009】
(A−1)実施形態の構成
本実施形態の画像処理装置を図1に示す。
【0010】
図1において、この画像処理装置は、輪郭候補検出部101と、矩形変換部102と、輪郭特徴計算部103と、輪郭検出部104と、オブジェクト検出部105とを備えている。
【0011】
輪郭候補検出部101は入力画像データS101を入力して輪郭候補領域データS102を出力する部分で、矩形変換部102は輪郭候補領域データS102を入力して矩形データS103を出力する部分で、輪郭特徴計算部103は矩形データS103を入力して輪郭特徴データS104を出力する部分で、輪郭検出部104は輪郭特徴データS104を入力して輪郭データS105を出力する部分で、オブジェクト検出部105は輪郭データS105を入力して画像オブジェクトデータS106を出力する部分である。
【0012】
このうち輪郭候補検出部101は、本実施形態では、AD(アナログ−ディジタル)変換されたカラー画像データである入力画像データS101を入力するものとする。また輪郭候補検出部101が受け取るこの入力画像データS101には、例えば、図2(A)に示すように固定背景のみを含む背景画像と、例えば、図2(B)に示すように、固定背景と画像オブジェクト201の双方を含む混合画像があるものとする。
【0013】
輪郭候補検出部101は、まず図2(A)の画像の入力を受けたときにこれを背景画像として記憶し、次いで図2(B)の混合画像の入力を受けたときに、これら両画像の画像特徴の差をもとにして輪郭候補領域(その内部に、画素レベルの精度を持つ細密な輪郭線が存在し得る領域)の検出を行う。
【0014】
本実施形態では、当該画像特徴として、色データを用いるものとする。色データとは、例えばRGB、YMC等の色の3原色の階調値を示すデータである。
【0015】
輪郭候補検出部101の処理は、例えば、16×16画素程度の大きさのブロック単位で行うため、前記輪郭候補領域は、当該ブロック単位で構成される。すなわち、ブロック毎の画像特徴を計算して、図2(A)の背景画像との差が大きいブロックはオブジェクト領域に属するものとし、差が小さいブロックは背景領域に属するものとする一方で、差がこれらの中間のブロックは輪郭候補領域に属するものとする。
【0016】
本実施形態では、ブロック毎の画像特徴として、平均色データを用いるものとする。平均色データとは、ブロック中の全画素に関する前記色データの平均値である。
【0017】
当該輪郭候補検出部101に接続された前記矩形変換部102は、輪郭候補領域データS102として受け取った輪郭候補領域に矩形変換処理を施して、前記矩形データS103を生成する部分で、図9に示す内部構成を有している。
【0018】
図9において、当該矩形変換部102は、切断位置検出部10と、非線形変換部11と、画像検査部12と、補完処理部13とを備えている。
【0019】
矩形変換部102が行う矩形変換処理では、ドーナツ状の(図3(A)の)輪郭候補領域203を適当な位置で切断し、その切断線CPを対向する2辺として図3(B)の矩形データを生成する。すなわち、図3(A)の輪郭候補領域データ203を図3(B)の矩形データに変換する。
【0020】
切断線CPの位置は、前記切断位置検出部10が検出し、検出結果としての切断位置情報CIは、輪郭候補領域データ203を含む輪郭候補領域データS102とともに、前記非線形変換部11に供給する。
【0021】
切断を実行する切断線CPの位置を検出する方法としてはさまざまな方法が考えられるが、輪郭候補領域データS102によって指定される図2(C)のような輪郭候補検出結果を、例えば、垂直方向に延びる走査線を、適当な間隔で水平方向に移動させ、走査線とオブジェクト領域204が最初に交差したとき、左側(交差線上)の最も下の交点を、水平方向に延びる当該切断線CPの位置とするようにしてもよい。
【0022】
切断位置検出部10と同様に、前記輪郭候補検出部101から輪郭候補領域データS102を受け取る画素検査部12は、輪郭候補領域データS102が指定する画像内容を検査して、例えば、図4(A)に示すように、輪郭候補領域203Aが画像のフレーム枠F1によって切取られ、画像フレーム内で幾何学的に閉じていないこと(すなわち、内部に穴を持つ連結図形(リング型のトポロジを有するドーナツ状領域)となっていないこと)を検出した場合、出力するフレーム交差信号FCを能動状態にする部分である。
【0023】
能動状態のフレーム交差信号FCを受け取った場合、前記補完処理部13は、画像フレーム内に存在しない補完領域(仮の輪郭候補領域)401を生成して、当該補完領域401を示す補完領域信号VEを、非線形変換部11に供給する。反対に、非能動状態のフレーム交差信号FCを受け取った場合には、当該補完処理部13は、当該補完領域信号VEを出力しない。
【0024】
補完領域401内の各画素の画素値は、画像フレームF1で切り取られた両端の画素の画素値(すなわち、部分領域aの画像フレームF1に接触している画素の画素値と部分領域hの画像フレームF1に接触している画素の画素値)を円滑かつ緩やかに接続できるように、線形的な分布を示すように選定する。
【0025】
少なくとも、前記輪郭候補領域データS102と切断位置情報CIを受け取る非線形変換部11は、前記矩形変換処理を実行して、処理結果としての矩形データS103を出力する部分である。
【0026】
非線形変換部11が実行する矩形変換処理では、例えば、図3(A)の幾何学的に閉じた領域である輪郭候補領域を構成している各部分領域(a、b、c、d、…、n)を、図3(B)に示すように、(x軸方向の)底辺の長さが一定で(y軸方向の)高さが異なる矩形領域に変換し、隣接する矩形領域を相互に連結する。
【0027】
すなわちこの矩形変換処理では、幾何学的に閉じた図形である図3(A)の輪郭候補領域203を、当該切断線CPで切断して展開し、図3(B)に示す図形に変形する。
【0028】
図3(A)では、前記部分領域aと部分領域nの境界線が前記切断線CPに相当する。なお、図3(A)では、境界線上にある切断線CPを認識できるように、境界線からずらせて示している。
図3(B)において、切断線CPに沿った方向にx軸を、当該x軸に直交して矩形領域aから矩形領域nに向かう巡回方向にy軸を設ける。当該y軸は、図3(A)の矩形変換前の入力画像上では輪郭候補領域203に沿った点線として示した中心線(閉曲線)CLに相当し、当該y軸の方向は中心線CL上の時計回り方向に相当するものとみることができる。
【0029】
矩形変換前の図3(A)で1本の線分であった切断線CPは、矩形変換後には、図3(B)の最上部と最下部に配置された2本の線分(対向する2辺)となっている。矩形変換は、ドーナツ状の閉領域を切断線で切断した後、直線状に引き延ばしたと同様な処理となっている。
部分領域には、部分領域aのように2ブロック分の面積を持つ長方形の領域、部分領域bのように1ブロックの半分程度の面積を持つ三角形の領域、部分領域cのように1ブロック分の面積を持つ平行四辺形の領域、部分領域eのように1ブロック分の面積を持つ三角形の領域、…、部分領域hのように3ブロック分の面積を持つ長方形の領域などがある。当該矩形変換処理ではこれらの各部分領域を対向する2対の辺のうちの一対の辺の長さが一定の矩形領域に変換するために、非線形な幾何学的変換が行われることになる。すなわち、非線形な幾何学的変換では、変換前の部分領域と同じ面積を有する、一辺の長さが所定の長さである変換後の矩形を定め、変換前の部分領域(の各画素)を、定めた矩形(の各画素)に写像させる処理となっている。
したがって、矩形変換後の底辺の長さが同一の各矩形領域では、その高さが、矩形変換前の各部分領域の面積にほぼ比例した形状となる。
【0030】
一方、前記補完処理部13が、例えば前記補完領域401を指定する補完領域信号VEを出力した場合、当該非線形変換部11は、輪郭候補領域データS102などによって指定される図4(A)の画像フレーム内に存在する輪郭候補領域203Aに対し、当該補完領域401を付加することで、図4(B)に示す矩形データを完成させることができる。
【0031】
この補完領域(例えば401)は、演算量を低減するために、画像フレーム内に存在するブロック(図示の例では、部分領域aと部分領域hの一部)を接続する最短距離に沿った直線的な領域として生成する。
【0032】
当該非線形変換部11から矩形データS103を受け取る前記輪郭特徴計算部103は、所定の輪郭特徴データS104を計算する部分である。
【0033】
本実施形態では、輪郭特徴データS104として、次の式(1)〜(3)で記述される3種類のデータg0、g1、g2を用いる。
【0034】
g0(x,y)=|p(x,y)*f0| …(1)
g1(x,y)=|p(x,y)*f1| …(2)
g2(x,y)=|p(x,y)*f2| …(3)
ここで、p(x,y)は矩形上の座標(x,y)の画素の持つ画素値、f0、f1、f2は3×3のフィルタ係数、*は畳み込み演算を示す。
【0035】
図5は、輪郭特徴計算部103における輪郭特徴データS104の計算方法を説明する図で、同図(A)は左斜め45度方向エッジ検出フィルタf0を示し、同図(B)は縦方向エッジ検出フィルタフィルタf1を示し、同図(C)は右斜め45度方向エッジ検出フィルタフィルタf2を示している。
【0036】
図5(A)に示した左斜め45度方向エッジ検出フィルタf0において、3×3マトリクスの対角線上、左斜め45度方向には「+2」の画素値を持つ3つの画素を配列し、その他の6画素の画素値は、「−1」である。
【0037】
同様に、図5(B)に示した縦方向エッジ検出フィルタf1において、3×3マトリクスの対角線上、縦方向には「+2」の画素値を持つ3つの画素を配列し、その他の6画素の画素値は、「−1」であり、図5(C)に示した右斜め45度方向エッジ検出フィルタf2において、3×3マトリクスの対角線上、右斜め45度方向には「+2」の画素値を持つ3つの画素を配列し、その他の6画素の画素値は、「−1」である。
【0038】
それぞれのエッジ検出フィルタf0〜f2の指定する方向に沿ったエッジ(すなわち輪郭)が存在する場合、該当する輪郭特徴データは大きな値をとる。例えば、前記輪郭特徴量データg0が大きな値をとる場合には、図5(A)に「+2」として示した画素列の方向(左斜め45度)に輪郭線が存在する可能性が高いことを意味する。
【0039】
縦方向と左右の斜め45度の中間のいずれかの方向に輪郭線が存在した場合、g0〜g2のうち当該方向に最も近い方向のフィルタf0〜f2に対応した輪郭特徴量データg0〜g2が最大値を取る傾向が高い。このため、後述するように、輪郭線を構成する画素を3近傍から探索することによって(例えば、前記入力画像が被写体を撮影して得た自然画像である場合などには、当該被写体の)実際の輪郭線の方向に対応した連結成分を輪郭線として取り出すことができる。
【0040】
このようにわずか3種類のエッジ検出フィルタf0〜f2を用いて輪郭線が存在する可能性の高い方向を示すことは、輪郭検出部104の処理を簡略化するために有効である。
【0041】
当該輪郭特徴データS104を受け取る輪郭検出部104は、細密な輪郭線追跡を実行する部分で、図10に示す内部構成を備えている。
【0042】
図10において、当該輪郭検出部104は、矩形メモリ20と、演算実行部21と、開始点・終了点設定部22と、対象画素設定部23と、終了検査部24,25と、評価値バッファVと、経路バッファRとを備えている。
【0043】
このうち矩形メモリ20は、例えば、図3(B)に示すような矩形内の全画素につき、輪郭特徴データを格納しているメモリである。したがって、矩形中の各画素には、3つの輪郭特徴データg0〜g2が対応付けられて記憶されている。
【0044】
なお、必要になるたびに、必要とする部分の輪郭特徴データを、輪郭検出部104が輪郭特徴計算部103から受け取るようにしてもよい。この場合、当該矩形メモリ20は省略することができる。
【0045】
前記演算実行部21は、後述する所定の手順(図8参照)にしたがって輪郭検出(輪郭線追跡)処理を実行する部分である。
【0046】
開始点・終了点設定部22は、当該手順中において、経路開始点Sと経路終了点Eの設定、変更を行う部分である。
【0047】
当該開始点・終了点設定部22に接続されている終了検査部24は、必要なすべての画素に対して、経路開始点Sと経路終了点Eの設定を終え、処理が終了したかどうかを検査する部分である。
【0048】
対象画素設定部23は、当該手順中にいて、対象画素の設定、変更を行う部分である。
【0049】
当該対象画素設定部23に接続されている終了検査部25は、必要なすべての画素を対象画素として、処理が終了したかどうかを検査する部分である。
【0050】
また、前記評価値バッファVに対しては、演算実行部21によって、後述する評価値の読み書きが行われる。同様に、経路バッファRに対しては、当該演算実行部21によって、後述する経路値の読み書きが行われる。
【0051】
当該輪郭検出部104の処理では、当該手順にしたがい、画素列を矩形のほぼy軸方向に沿って3近傍から連結することによって経路(細密な輪郭線の候補(連結成分))を得て、当該経路のなかの最適経路として、最終的な輪郭線(輪郭データS105)を決定する。
【0052】
最後に、前記オブジェクト検出部105は、当該輪郭線データS105の入力を受け、前記矩形変換部102が実行した矩形変換の逆変換を実行することで矩形上の輪郭線を入力画像上の輪郭線に変換し、当該輪郭線によって囲まれた領域を画像オブジェクトと判定し、当該判定結果に対応する画像オブジェクトデータS106を出力する部分である。
【0053】
以下、上記のような構成を有する本実施形態の動作について説明する。
【0054】
(A−2)実施形態の動作
最初に、前記輪郭候補検出部101が、上述したように図2(A)の画像の入力を受けてこれを背景画像として記憶し、次いで図2(B)の混合画像の入力を受け、これら両画像における各ブロックの平均色データの差をもとにして輪郭候補領域の検出を行うと、図2(C)に示すように、大まかな画像オブジェクト領域204と、その周辺を取り囲むように存在する大まかな輪郭候補領域203が得られる。
【0055】
この輪郭候補領域203を構成する各ブロック内には、通常、背景と画像オブジェクト201の双方が含まれる。そして、図2(B)の入力画像のうち背景領域(202)にだけ属するブロックの平均色データ値と図2(A)の背景画像中のブロックの平均色データ値の差は小さく、図2(B)の入力画像のうち画像オブジェクト領域(204)にだけ属するブロックの平均色データ値と図2(A)の背景画像中のブロックの平均色データ値の差は大きい。
【0056】
このため、一般的に背景と画像オブジェクト201の双方が含まれる図2(C)の輪郭候補領域203を構成するブロックの平均色データ値と、図2(A)の背景画像中のブロックの平均色データ値との差は、これらの中間の値を持つこととなる。
【0057】
したがって、輪郭候補検出部101は、前記背景画像と入力画像の平均色データ値の差が中間的な値を示すブロックを検出して連結すれば、当該輪郭候補領域203を良好に特定することができる。
【0058】
また、当該輪郭候補検出部101は、必要に応じて、図4に示す補完領域401の生成、付加なども行う。
【0059】
次に、輪郭候補領域データS102を入力することで図2(C)の輪郭候補領域を得た矩形変換部102内では、画像検査部12、切断位置検出部10および非線形変換部11が動作し、必要に応じて補完処理部13が機能して、前記矩形変換処理を実行する。
【0060】
図3(A)と同図(B)において、対応する符号を付した領域はそれぞれに対応している。すなわち、図3(A)の部分領域aは図3(B)の矩形領域aに対応し、図3(A)の部分領域bは図3(B)の矩形領域bに対応し、図3(A)の部分領域cは図3(B)の矩形領域cに対応し、…、図3(A)の部分領域nは図3(B)の矩形領域nに対応している。
【0061】
すなわち、当該矩形変換処理では、各部分領域が対応関係にある各矩形領域に変換され、各矩形領域がy軸方向に連結されて矩形データS103が生成される。
【0062】
当該矩形データS103を受け取った輪郭特徴計算部103は、前記式(1)〜(3)で記述される演算処理を実行して輪郭特徴データS104(すなわちg0〜g2)を算出し、輪郭検出部104に供給する。
【0063】
輪郭検出部104では、図8のフローチャートに示す手順にしたがって、細密な輪郭線の検出を行う。図8のフローチャートは、P10〜P16の各ステップから構成されている。
【0064】
図8において、ステップP10では、評価値バッファV(s,x,y)と経路バッファR(s,x,y)を初期化する。
【0065】
ここで、評価値バッファV(s,x,y)の記述は、(x,y)の部分が図6(A)のxy平面上における各画素の位置を示し、(s)の部分は、経路開始点Sのx座標を示している。したがって、矩形上の座標が同じ画素であっても、経路開始点Sが相違すれば評価値バッファVに格納される評価値は相違し得る。この点、経路バッファR(s,x,y)についても同様である。
【0066】
つづくステップP11では、開始点・終了点設定部22が図6(A)に示す矩形の下端に経路開始点Sを設定し、矩形の上端に経路終了点Eを設定する。図6(A)の矩形は、前述した図3(B)の矩形に対応している。
【0067】
ここで、経路とは、上述した細密な輪郭線の候補に相当する概念である。
【0068】
また、当該経路開始点Sと経路終了点Eは、図3(A)に示す矩形変換前の入力画像上で、前記切断線CP(あるいはx軸)を挟んで縦方向または斜め方向に隣接した画素であったことから、これらのx座標は同一で、ともにsとする。
【0069】
次に、ステップP12では、前記対象画素設定部23が対象画素(x,y)を設定し、ステップP13では、前記演算実行部21が、図6(B)に示すように、当該対象画素(x,y)に対して左下、真下、右下の3画素(3近傍)を用いて次の式(4)〜(6)で記述される演算を実行し、当該演算の結果が最大値となるeにつき、当該eの値(すなわち評価値)を前記評価値バッファVに格納するとともに、そのiの値(すなわち経路値)を前記経路バッファRに格納する。
【0070】
e(i=0)=V(s,x−1,y−1)+g2(x−1,y−1)…(4)
e(i=1)=V(s,x,y−1)+g1(x,y−1)…(5)
e(i=2)=V(s,x+1、y−1)+g0(x+1,y−1)…(6)
例えば、図6(A)において、画素PX(2,6)を当該対象画素としているときには3つの画素PX(1,5)、PX(2,5)、PX(3,5)が、前記3近傍にあたり、輪郭線は右下の画素PX(3,5)から当該画素PX(2,6)につづいているため、左斜め45度方向エッジ検出フィルタf0に対応するg0を含んだ式(6)の演算結果が最大となる傾向が高まる。
【0071】
そして、実際にこのとき、式(4)〜(6)のなかで、式(6)の値が最大であるものとすると、その値(評価値)が評価値バッファVに格納されるとともに、経路値2(=i)が経路バッファRに格納される。
【0072】
なお、PX(x,y)形式の表記は、図6のxy平面上の指定した位置の1画素を指すもので、例えば、画素PX(2,6)の場合、x座標が2、y座標が6の1画素を指す。
【0073】
ステップP13につづくステップP14では、終了検査部25が1ライン(1つのy座標上に存在する全画素)上のすべての画素を対象画素としてステップP13を実行したかどうか、および全ラインについてステップP13の処理を実行したかどうかを検査する。
【0074】
全ラインについてステップP13の処理を終了した場合には、ステップP14は、Yes側に分岐するが、終了していない場合にはNo側に分岐する。
【0075】
ステップP14がNo側に分岐した場合、処理はステップP12にもどる。
【0076】
ステップP12では、前回、前記対象画素PX(2,6)に対してステップP13の処理を行った場合には、次は画素PX(3,6)を対象画素に設定してステップP13の処理を行う。
【0077】
このように、ステップP12〜P14のループが繰り返されると、対象画素設定部23によって対象画素はPX(2,6)、PX(3,6)、PX(4,6)、PX(5,6)、PX(6,6)、PX(1,7)、…と順次に変更され、各ラインの処理が終了するとその上のラインについて処理されて行く。
【0078】
一方、前記3近傍の側からみると、矩形メモリ20内において3近傍画素PX(1,5)、PX(2,5)、PX(3,5)のそれぞれには、前記式(1)〜(3)によって算出した3つの輪郭特徴データg0〜g2が対応付けられているが、矩形メモリ20は、例えば、当該画素PX(3,5)については、対象画素が画素PX(2,6)であるときには輪郭特徴データg0を演算実行部21に供給し、対象画素が画素PX(3,6)であるときには輪郭特徴データg1を演算実行部21に供給し、対象画素が画素PX(4,6)であるときには輪郭特徴データg2を演算実行部21に供給することになる。
【0079】
なお、前記ステップP12の処理で最初に対象画素とされる画素は、画素PX(1,1)などが属する最下端のy=1のライン内からではなく、その上の、画素PX(2,2)などが属するy=2のライン内から選択される。
【0080】
また、最後のy=13とy=12の両ラインについて処理するときには、ステップP13の内容はそれまでとは異なり、図6(B)や式(4)〜(6)に示すような経路選択処理を行うことなく、予め設定してある経路終了点Eに対し、強制的に結合する。
【0081】
例えば、図6(A)では、画素PX(3,12)が画素PX(3,13)に相当する経路終了点Eに接続されているが、これは、経路選択処理を行うことなく強制的に接続したものである。
【0082】
もしも、最後の両ラインについても、それ以前に処理した各2ラインと同様な経路選択処理を行うものとすると、例えば、輪郭線が入力画像上でx軸と斜めに交差する場合には、経路開始点Sと本来の経路終了点Eとが斜め方向に接続されることとなるため、経路選択処理の結果が、ステップP11で予め設定した経路終了点Eと相違することも起こり得る。
【0083】
例えば、図6(A)の輪郭線602が入力画像上でx軸と斜めに交差する場合には、経路終了点Eと経路開始点Sが斜め方向に接続されることとなるため、経路選択処理の結果として、画素PX(3,12)に対しy=13のライン上で接続される画素は、経路終了点Eとx座標が1ずつ相違する画素PX(2,13)または画素PX(4,13)になってしまう。
【0084】
換言すれば、強制的に経路終了点Eに接続する本実施形態では、x軸との交差部分で、輪郭線の形状に1画素程度の誤差が混入することを許容していることになる。
【0085】
しかしながらこの誤差は、x軸との交差部分でのみ局所的に発生するものであり、その大きさも、たかだか1画素程度であるので、実用上問題となることはほとんどあり得ないと考えられる。
【0086】
その一方で、この強制的な接続によって、経路選択処理の実行回数を低減できる等、切断線CP部分で必要とされる境界部の処理を簡略化することができる。
【0087】
ところで、矩形内には、図6(A)中の画素PX(1,1)、PX(2,1)、PX(4,1)、PX(5,1)、PX(6,1)、PX(1,2)、PX(5,2)、PX(6,2)、PX(6,3)、PX(6,11)、PX(1,12)、PX(5,12)、PX(6,12)、…などのように、経路計算に必要のない無効領域601が生じ得る。
【0088】
この無効領域601は、輪郭線の候補となり得ない画素によって構成され、x軸に沿って広がる傾向を有する。ただしこの無効領域601は、原理的に必ず発生するものではなく、前記エッジ検出フィルタf0〜f2を3種類に限定したことによって発生したものである。
【0089】
エッジ検出フィルタf0〜f2を3種類に限定したことによって、各対象画素に対して輪郭線が連結し得る方向が図6(B)に示す3方向(3近傍)の画素に限定されるからである。
【0090】
この限定は、x軸に平行な輪郭線や、y軸の負方向に伸びる部分を有する輪郭線の検出を困難にし、8近傍(対象画素の周辺の8方向(8画素))から輪郭線を探索する場合などに比べて、連続する数画素程度の小さな領域内で細かく入り組んだ複雑な輪郭線を正確に検出することを難しくするが、その一方で、輪郭特徴計算部103や輪郭検出部104における演算量が、8近傍から探索する場合などに比べて大幅に低減し、処理速度を高速化できるという大きな利点をもたらす。
【0091】
図6(A)の無効領域601を除く、必要なすべての画素についてステップP13の処理が終了すると、ステップP14はYes側に分岐し、すべての経路開始点について処理が終了したかどうかが、終了検査部24によって検査される(P15)。
【0092】
すべての経路開始点について処理が終了した場合には、ステップP15はYes側に分岐し、終了していない場合にはNo側に分岐する。
【0093】
No側に分岐した場合には、当該ステップP15につづいて、再びステップP11が実行される。
【0094】
図6(A)に図示した状態は、経路開始点Sを画素PX(3,1)に設定し、経路終了点を画素PX(3,13)に設定しているが、次に実行されるステップP11では、経路開始点Sを、例えば画素PX(4,1)に移して(この場合、経路終了点Eは画素PX(4,13)となる)、ステップP11〜P15のループが繰り返され、各繰り返しごとに、入れ子になっているステップP12〜P14のループが必要回数だけ実行される。
【0095】
そして、最下端のラインに属するすべての画素PX(1,1)〜PX(6,1)を経路開始点としてステップP10〜P14の処理が終了したときに、ステップP15はYes側に分岐することになる。
【0096】
このとき、前記ステップP12、P13の処理内容および式(4)〜(6)の内容から明らかなように、経路終了点Eとなり得る最上ライン(y=13のライン)上のすべての画素PX(1,13)〜PX(6,13)のそれぞれに対応する評価値バッファV内の評価値V(s,E点)は、各輪郭線の候補に対応した経路上の輪郭特徴データの総和となっている。
【0097】
ここで、評価値V(s,E点)の(E点)は、各経路終了点Eの座標(x,y)を示している。
【0098】
ステップP15のYes側につづいて実行されるステップP16の最適経路の特定処理では、まず、当該評価値V(s,E点)が最大値をとる場合のsを求め、次に、経路開始点Sのx座標が当該sである場合について、経路バッファR(s,x,y)に書き込まれている経路値系列を読み出して、経路終了点Eから経路開始点Sに向かう最適経路(すなわち輪郭線)を求め、これを輪郭データS105とする。
【0099】
輪郭特徴データの総和を求める際には、図6(B)に示すように、各経路の方向に合わせて3種類の輪郭特徴データから値が選択され、画像のエッジ方向(輪郭線の方向)が経路の向きに一致した場合に総和値が大きくなるように作用するから、当該最大値を示す評価値V(s,E点)が真正な輪郭線の終了点に対応していた場合、当該最大値を示す評価値V(s,E点)とそれ以外の評価値V(s,E点)との値の差は、通常、かなり大きくなるものと考えられる。
【0100】
なお、輪郭データS105には、通常、経路終了点E(または経路開始点S)の座標と、当該経路開始点Sにつづく前記経路値の情報が含まれていれば十分である。
【0101】
図6(A)に示した輪郭線602は、例えば、経路終了点Eの座標(3,13)と、当該経路終了点Eから経路開始点S(3,1)に向かう経路値系列1,2,0,0,0,1,2,2,2,1,0,1によって記述することができる。
【0102】
以上の説明から明らかなように、経路バッファRは、ステップP11〜P15の処理が繰り返されているときには、すでに判明しているすべての経路値R(s,x,y)を記憶している必要があり、ステップP16の処理が開始されたときには、すべての経路値R(s,x,y)を記憶している必要があるため、前記無効領域601の存在を考慮しなければ、基本的に432(=6×6×(13−1)=s×x×(y−1))程度のアドレス空間(同時に記憶しておく必要のある経路値データの数)を備えている必要がある。
【0103】
これに対し評価値バッファVは、ステップP11〜P15の処理が繰り返されているとき、すでに判明している評価値V(s,E点)のほかには、矩形上をy軸方向に累進する連続2ライン分の評価値を記憶していれば十分であり、すでに処理を終えたラインの評価値を保存しておく必要はない。
【0104】
例えば、前記画素PX(2,6)などのy=6のライン中の画素を対象画素としてステップP13を処理しているときには、y=6のラインの画素とy=5のラインの画素について、評価値を保存している必要があるが、それより下のy=4〜y=1のラインに属する画素の評価値は保存しておく必要はない。
【0105】
そして、y=6のライン中の画素を対象画素とするステップP13の処理が終了し、y=7のラインから対象画素が選ばれるようになると、y=5のライン中の画素に関する評価値は不要となり、y=7とy=6の連続2ラインについて評価値を保存すればよくなる。
【0106】
評価値バッファVはまた、ステップP16の処理が開始されたときのために評価値V(s,E点)を記憶しておく必要があるが、前記連続2ライン分とこの評価値V(s,E点)の分を合わせても、通常、そのアドレス空間(同時に記憶しておく必要のある評価値データの数)は、前記経路バッファR(s,x,y)のアドレス空間よりもはるかに小さく(少なく)、例えば、48(=6×2+6×6=x×2+s×x)程度であってよい。ただしここで、経路開始点sと経路終了点Eのx座標が同一(すなわち、V(s,E点)においてs=x)の条件を適用すれば、当該48は、18(=6×2+6=x×2+s)となる。
【0107】
もちろん、アドレス空間を節約する必要がない場合には、評価値バッファVのアドレス空間として、前記経路バッファRと同じ432(=6×6×(13−1)=s×x×(y−1))の空間を用意するようにしてもよい。
【0108】
なお、前記ステップP11では、経路開始点Sと経路終了点Eのx座標を同一としたが、実際には、真正な輪郭線上の画素としての経路開始点Sと経路終了点Eが、もとの入力画像上で斜め方向に接続すること等も考えられるので、ステップP13によって最上ライン上に求められた前記総和値の最も大きい画素のx座標が、経路開始点Sのx座標に一致しないケースも起こり得る。
【0109】
これに対応するため、ステップP11では経路開始点Sの設定だけを行い経路終了点Eの設定は行わないようにし、最下端ラインと最上端ラインの接続関係については、それを検査するための専用ステップで検査することも考えられる。
【0110】
輪郭検出部104から前記輪郭データS105を受け取ったオブジェクト検出部105は、矩形変換部102で実行した矩形変換の逆変換を実施することにより、矩形上の輪郭データを入力画像上の輪郭データに変換する。
【0111】
さらに、オブジェクト検出部105は、当該輪郭データで指定される輪郭線に囲まれた領域を画像オブジェクトと判定し、この領域情報を画像オブジェクトデータS106として後段へ出力する。
【0112】
図7は、オブジェクト検出部105の動作を説明する図である。
【0113】
ここでは、図2(B)と同じ混合画像を入力画像としているので、図7(A)のように背景領域701、輪郭候補領域702、画像オブジェクト領域703に対し、輪郭候補領域702内に画像オブジェクト705の輪郭を規定する画素レベルの精度を持った細密な輪郭線704が検出され、その内部の図7(B)に示す画像データが画像オブジェクトとして得られる。
【0114】
当該オブジェクト検出部105が出力する画像オブジェクトデータS106は、画像オブジェクトの領域を示す2値データでもよいし、画像オブジェクトの画素データそのものでもよい。これらは、オブジェクト検出部106の後段に接続される装置の要求に応じて決定されるものである。
【0115】
(A−3)実施形態の効果
以上のように本実施形態によれば、入力画像をブロックに分割し、輪郭候補領域の検出にあたっては従来のように画素単位ではなくブロック単位に画像特徴(平均色データ)を求め、当該画像特徴を利用して輪郭候補領域を検出するため、画像を撮影するカメラが振動する場合や、画像中の背景の一部に位置変動が見られる場合でも安定した画像特徴が得られ、輪郭候補領域を正しく検出することができるので、信頼性が高い。
【0116】
また、本実施形態では、輪郭線の検出にあたっては、輪郭特徴分布に基づいて輪郭候補領域中の任意の経路から最適な経路を選択するため、画素精度の細密な輪郭線を検出することができ、画像オブジェクトの検出精度も高い。
【0117】
さらに本実施形態では、輪郭候補領域をいったん矩形領域に変換してから、輪郭線を検出するようにしたので、最適経路の計算にかかる処理量を抑えることができ、ソフトウエアを含む種々の形態で実施することが可能である。
【0118】
また、本実施形態では、最適経路の計算に際して、輪郭特徴分布を輪郭の方向別に算出された輪郭らしさの特徴分布とし、経路方向に応じた輪郭特徴分布に基づいて最適経路を求めるようにしたので、画像のエッジ方向と輪郭線の方向が合致した場合の経路が選択されるよう動作するため、画像オブジェクトを高精度に検出することができる。
【0119】
(B)他の実施形態
なお、上記実施形態では、図6(A)の矩形は6×13画素の領域であったが、矩形の画素数はこれより多くてもよく、少なくてもよい。通常は、これよりはるかに大きな画素数になるのがふつうである。
【0120】
また、上記実施形態では、ブロックサイズを16×16画素としたが、ブロックサイズはこれより小さくてもよく、大きくてもよい。
【0121】
ただし、ブロックサイズを大きくすると、画像を撮影するカメラが振動する場合や、画像中の背景の一部に位置変動が見られる場合などの安定度は向上するが、輪郭候補領域(や矩形)に含まれる画素数が増加して演算量が増大する傾向が高まる。このため、ブロックサイズは、要求される安定度や演算量の条件を考慮して設定する必要がある。
【0122】
なお、ブロックの形状も、上記実施形態のように、必ずしも縦横の長さが同じの正方形である必要はない。
【0123】
さらに、上記実施形態では、画像フレームに対して処理を実行したが、本発明は、画像フィールドに対する処理を行うことも可能である。
【0124】
また、入力画像(S101)全体の画素数は、一例として、ディジタルテレビのように、720×480画素などであってよい。
【0125】
さらに、上記実施形態では、輪郭候補検出部101がブロック毎の平均色を用いて輪郭候補領域を検出する場合につき説明したが、ブロック毎の平均色の代わりに、従来公知の他の画像特徴を用いることもできる。例えば、対象画像が細かい色パタンで構成される場合には、ブロック毎の色相データのヒストグラムに特徴的なパタンが現れやすいので、平均色の代わりに色相データのヒストグラムを用いることができる。
【0126】
また、上記実施形態では、輪郭検出部104において、矩形上の任意の画素(対象画素)への経路を3方向(3近傍)から選択するようにしたが、より多くの方向から選択するようにしてもよい。この場合には、経路方向の追加に合わせて、輪郭特徴計算部103における特徴データの計算方法を変更することができる。選択の方向を増やすことによって、演算量は増大するものの、上記実施形態では正確に検出することが困難であったx軸に平行な輪郭線(経路パタン)、y軸の負方向に伸びる部分を有する輪郭線、複雑に入り組んだ輪郭線の形状も正確に検出することが可能になる。
【0127】
なお、上記実施形態では、入力画像データS101をカラー画像として説明したが、2値画像やモノクロ画像でもよい。モノクロ画像の場合には、輪郭候補検出部101で用いる画像特徴として平均輝度や輝度ヒストグラムなどを用いることにより、上記実施形態と同等の効果が得られる。
【0128】
また、上記実施形態では、固定背景中に画像オブジェクトを含む入力画像データS101を対象として、輪郭候補検出部101が背景のみを含む背景画像を入力したのち、画像オブジェクトを含む混合画像を入力して輪郭候補領域データS102を出力する場合につき説明したが、任意の入力画像に応じた輪郭候補検出部101を実現可能である。
【0129】
例えば、輪郭候補検出部101の処理において、利用者が手動で輪郭候補領域を指定するように構成してもよい。また、動画像を入力として、第1フレームのみを手動で輪郭候補領域を指定したのち、それ以降のフレームについては、前フレームのオブジェクト検出結果に基づいて輪郭候補領域を予測するように構成してもよい。
【0130】
これによれば、前記背景画像の入力を受けることなく、前記混合画像の入力を受けて、当該混合画像から輪郭候補領域を検出することが可能である。
【0131】
このように入力画像データS101および輪郭候補検出部101の構成を変更しても、上記実施形態と同等の効果を得ることができる。
【0132】
【発明の効果】
以上詳細に説明したように、本発明によれば、対象輪郭線を含む輪郭線包含領域は対象輪郭線そのものよりも入力画像中で大きな領域を占めるので、対象輪郭線や入力画像中のその他の領域に位置変動などが発生したとしても、その位置変動などは輪郭線包含領域中に吸収することができる。
【0133】
これにより、本発明では、従来に比べて、より安定的かつ高精度に、対象輪郭線を検出することが可能になり、画像処理装置の信頼性が向上する。
【図面の簡単な説明】
【図1】 実施形態に係る画像処理装置の概略構成を示すブロック図である。
【図2】 実施形態における輪郭候補検出部の動作説明図である。
【図3】 実施形態における矩形変換部の動作説明図である。
【図4】 実施形態における矩形変換部の動作説明図である。
【図5】 実施形態で使用するエッジ検出フィルタの構成例を示す概略図である。
【図6】 実施形態における輪郭検出部の動作説明図である。
【図7】 実施形態におけるオブジェクト検出部の動作説明図である。
【図8】 実施形態における輪郭検出部の動作説明図である。
【図9】 実施形態における矩形変換部の概略構成を示すブロック図である。
【図10】 実施形態における輪郭検出部の概略構成を示すブロック図である。
【符号の説明】
10…切断位置検出部、11…非線形変換部、12…画像検査部、13…補完処理部、20…矩形メモリ、21…演算実行部、22…開始点・終了点設定部、23…対象画素設定部、24,25…終了検査部、101…輪郭候補検出部、102…矩形変換部、103…輪郭特徴計算部、104…輪郭検出部、105…オブジェクト検出部、201…画像オブジェクト、202、701…背景領域、203、702…輪郭候補領域、204、703…画像オブジェクト領域、601…無効領域、704…輪郭線、a〜n…部分領域(および矩形領域)、PX(2,2)〜PX(1,7)…画素、S…経路開始点、E…経路終了点、f0…左斜め45度方向エッジ検出フィルタ、f1…縦方向エッジ検出フィルタ、f2…右斜め45度方向エッジ検出フィルタ、V…評価値バッファ、R…経路バッファ、P10〜P16…処理ステップ。
Claims (4)
- 入力画像の中から対象画像の持つ対象輪郭線を検出する画像処理装置において、
前記入力画像、及び、この入力画像に対応する背景画像を、所定の大きさのブロックに分け、各ブロックの平均色で比較し、背景画像との平均色の差が大きい対象画像領域のブロックと、背景画像との平均色の差が小さい背景画像領域のブロックと、背景画像との平均色の差が中間の値である前記対象画像の輪郭線を含む輪郭線包含領域のブロックとを検出した後、前記入力画像中における、前記対象画像領域のブロックが縦横に連続している対象画像領域の周囲に存在する、前記輪郭線包含領域のブロックを繋げた、前記対象輪郭線を含む幾何学的に閉じたドーナツ状の領域である輪郭線包含領域を生成する輪郭線包含領域生成手段と、
前記ドーナツ状の輪郭線包含領域を切断線で1箇所切断し、切断によりできた切断箇所の2辺を下辺及び上辺とするように、切断された前記ドーナツ状の輪郭線包含領域を直線状に引き延ばしたと見ることができる、下辺及び上辺が切断箇所での第1の長さを有し、右辺及び左辺が、下辺及び上辺の長さとして第1の長さを適用した場合に、前記ドーナツ状の輪郭線包含領域の面積と同様な面積を達成できる第2の長さを有する長方形領域に、前記ドーナツ状の輪郭線包含領域を幾何学的に変換する幾何学変換手段と、
変換された長方形領域内における、下辺及び上辺間に延びる前記対象輪郭線を、エッジ検出フィルタを適用した輪郭線方向の検出を繰返して検出する対象輪郭線検出手段と、
前記対象輪郭線検出手段によって検出された前記長方形領域内の対象輪郭線を、前記変換された長方形領域を幾何学的に前記ドーナツ状の輪郭線包含領域に逆変換する逆変換処理を前記長方形領域内の対象輪郭線に施して、前記ドーナツ状の輪郭線包含領域内の対象輪郭線を得る対象輪郭線逆変換手段とを備えることを特徴とする画像処理装置。 - 請求項1の画像処理装置において、
前記幾何学変換手段は、
前記輪郭線包含領域が前記入力画像中で幾何学的に閉じていない場合には、当該入力画像外の画像外領域を仮想的に生成した上で入力画像内の領域と連結することで、幾何学的に閉じた輪郭線包含領域を生成する仮想領域生成部を備え、
前記幾何学変換手段は、前記輪郭線包含領域が前記入力画像中で幾何学的に閉じていない場合には、当該仮想領域生成部が生成した、閉じた輪郭線包含領域に対し前記幾何学的な変換を施すことで、前記長方形領域に変換することを特徴とする画像処理装置。 - 請求項1の画像処理装置において、
前記対象輪郭線検出手段は、
前記長方形領域を画定している対向する辺であって、前記切断処理の切断線に該当する前記下辺及び上辺上に、それぞれ処理開始点と処理終了点を設定する処理端点設定部と、
前記エッジ検出フィルタを適用した輪郭線方向の検出を繰り返すことによって、任意の処理開始点と処理終了点を連結する経路の中から、最適な経路を選択する輪郭線選択部とを備える画像処理装置。 - 請求項1の画像処理装置において、
前記対象輪郭線検出手段は、
予測される前記対象輪郭線の分布方向に応じて、予め所定の方向数だけ用意した前記エッジ検出フィルタを用いて方向変数を得て格納する方向変数処理部と、
これらの方向変数の内、輪郭蓋然性が高い1つの方向変数を選択する方向変数選択部と、
当該方向変数処理部と方向変数選択部の処理を繰り返し実行させることによって、前記対象輪郭線を検出する検出制御部とを備えることを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000273021A JP4004217B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000273021A JP4004217B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002083304A JP2002083304A (ja) | 2002-03-22 |
JP4004217B2 true JP4004217B2 (ja) | 2007-11-07 |
Family
ID=18759040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000273021A Expired - Fee Related JP4004217B2 (ja) | 2000-09-08 | 2000-09-08 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4004217B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246173B (zh) * | 2018-08-14 | 2023-11-03 | 浙江大华技术股份有限公司 | 一种判断形状区域的方法和装置 |
-
2000
- 2000-09-08 JP JP2000273021A patent/JP4004217B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002083304A (ja) | 2002-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6714689B1 (en) | Image synthesizing method | |
US5119439A (en) | Method of and apparatus for extracting image contour data | |
JP2000295532A (ja) | 画像処理装置及び画像処理方法及び記録媒体及び画像処理システム | |
JP2006065407A (ja) | 画像処理装置及びその方法、プログラム | |
JP2006024116A (ja) | カラー画像の領域分割 | |
JP3659426B2 (ja) | エツジ検出方法及びエツジ検出装置 | |
JP4004217B2 (ja) | 画像処理装置 | |
JP2001016623A (ja) | 撮像素子の試験方法 | |
JP4594848B2 (ja) | 内接矩形検出装置および内接矩形検出プログラム | |
JP2002083306A (ja) | 画像処理装置 | |
JP3698867B2 (ja) | 円形パターン判定方法、装置および記録媒体 | |
JP2004038530A (ja) | 画像処理方法、同方法の実行に用いるプログラム及び画像処理装置 | |
JP2924744B2 (ja) | 画像の領域抽出方法及び装置 | |
JPH1049688A (ja) | 画像データの部分消去および部分検出方法 | |
JP2002083307A (ja) | 画像処理装置 | |
JPH04255080A (ja) | 画像入力装置 | |
JPH1083442A (ja) | 画像合成方法 | |
JP3437087B2 (ja) | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 | |
US20230296531A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2002083305A (ja) | 画像処理装置 | |
JP2800544B2 (ja) | 画像データの芯線化処理方法 | |
JPH05143733A (ja) | 輪郭抽出装置 | |
JPH10162138A (ja) | 画像処理方法 | |
JPS634379A (ja) | パタ−ンマツチング装置 | |
JPH07282230A (ja) | 地図図面データの接合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070326 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4004217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |