JPH11275373A - 補間処理方法 - Google Patents
補間処理方法Info
- Publication number
- JPH11275373A JPH11275373A JP10070454A JP7045498A JPH11275373A JP H11275373 A JPH11275373 A JP H11275373A JP 10070454 A JP10070454 A JP 10070454A JP 7045498 A JP7045498 A JP 7045498A JP H11275373 A JPH11275373 A JP H11275373A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- color information
- point
- vertical
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 30
- 238000000034 method Methods 0.000 claims description 103
- 230000002093 peripheral effect Effects 0.000 claims description 66
- 238000004364 calculation method Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 25
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
点と該色を出力しない空格子点とが市松模様状に配され
た画像の補間処理方法に関し、空格子点の空間的な類似
度を的確に推定しつつ、補間量を高い精度で求めること
を目的とする。 【解決手段】 空格子点の色情報の大きさと空格子点に
対し縦方向の少なくとも一方に隣接する格子点の色情報
の大きさとを用いて縦方向の類似度を決定する縦方向類
似度決定手順と、空格子点の色情報の大きさと空格子点
に対し横方向の少なくとも一方に隣接する格子点の色情
報の大きさとを用いて横方向の類似度を決定する横方向
類似度決定手順と、類似度に応じて空格子点に対して類
似性が強い方向に隣接する格子点の色情報の大きさを選
択、もしくは空格子点に対して縦方向および横方向に位
置する格子点の色情報の大きさを類似度に応じて加重加
算して空格子点の補間量を決定する補間量決定手順とを
備えて構成される。
Description
を出力する格子点と該色を出力しない空格子点とが市松
模様状に配された画像の補間処理方法に関する。
を生成する際、単一の撮像素子を用いるものがある。こ
のような撮像素子は、例えば図14(1)に示すよう
に、RGB(赤色・緑色・青色)の3色のカラーフィル
タがベイア配列されて構成される。ここで、緑色(G)
に着目すると、撮像素子は、図14(2)に示すように
緑色を出力する画素である格子点と、緑色を出力しない
画素である空格子点とが市松模様状に配されて構成され
ていると言える。
れた画像信号に相当するカラー画像の補間処理には、空
格子点に隣接する格子点の色情報の大きさの平均値を空
格子点の補間量とするものがあった。また、米国特許第
5,382,976号明細書(クラス348)には、空
格子点の空間的な類似度を空格子点に隣接する格子点の
色傾斜(chrominance gradients)によって推定し、類
似度の強い方向に隣接する格子点の色情報の大きさに基
づいて補間量を算出する技術が開示されている。
号に開示された従来の補間処理を説明する図である。図
において、G11,G13,・・・,G66は緑色
(G)の色情報の大きさを示し、R12,R14,・・
・,R56は赤色(R)の色情報の大きさを示し、B2
1,B23,・・・,B67は青色(B)の色情報の大
きさを示す。
出力する画素の緑色の補間量G34を求める際、まず、
横方向の色傾斜に関する情報Gdiff-horを Gdiff-hor = |G24−G44| によって求め、縦方向の色傾斜に関する情報Gdiff-ver
を Gdiff-ver = |G33−G35| によって求める。
diff-verとの大小関係によって場合分けし、G34を算
出する。すなわち、所定の値Thresholdについて、 Gdiff-hor<Threshold AND Gdiff-ver>Threshold ・・・条件1 が成り立つ場合(横方向の類似度が強い場合)、G34
を G34 = (G33+G35)/2 によって求め、 Gdiff-hor>Threshold AND Gdiff-ver<Threshold ・・・条件2 が成り立つ場合(縦方向の類似度が強い場合)、G34
を G34 = (G24+G44)/2 によって求め、 (Gdiff-hor<Threshold AND Gdiff-ver<Threshold)OR (Gdiff-hor>Threshold AND Gdiff-ver>Threshold) ・・・条件3 が成り立つ場合、G34を G34 = (G24+G44+G33+G35)/4 によって求める。
間処理方法を用いて、図16に示すような黒と白との縦
縞状の画像の補間処理を行う場合を考える。なお、図1
6に示す画像が図14に示す撮像素子に投影されると、
緑色(G)の色情報の大きさは、図17に示す値になる
と仮定する。
において、「G24=200」、「G44=200」、
「G33=10」、「G35=10」であるため、Gdi
ff-horとGdiff-verとは、共に「0」となる。したがっ
て、Gdiff-horとGdiff-verとの間には、条件1および
条件2は成り立たず、「Threshold≠0」である場合に
限り条件3が成り立つことになる。
間量G34は、 G34 = (200+200+10+10)/4 = 1
05 となる。
16に示す画像は縦方向の類似度が強く、補間量G34
は「200」となるべきである。
ff-horとGdiff-verとが一致した場合、横方向の類似度
と縦方向の類似度とが一致していると判定されることに
なり、補間処理の対象となる空格子点の空間的な類似度
が誤って推定されるおそれがあった。そのため、適切な
補間量を求めることができず、最悪の場合、補間処理に
よって得られる画像が破綻する可能性があった。
明は、補間処理の対象となる空格子点の空間的な類似度
を的確に推定しつつ、その空格子点の補間量を高い精度
で求めることができる補間処理方法を提供することを目
的とする。
理方法は、予め決められた色を出力する格子点と該色を
出力しない空格子点とが市松模様状に配された画像の補
間処理方法において、補間処理の対象となる空格子点の
色情報の大きさと、該空格子点に対して縦方向の少なく
とも一方に隣接する格子点の色情報の大きさとを用い
て、該空格子点の縦方向の類似度を決定する縦方向類似
度決定手順と、補間処理の対象となる空格子点の色情報
の大きさと、該空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて、該空
格子点の横方向の類似度を決定する横方向類似度決定手
順と、前記縦方向の類似度および前記横方向の類似度に
応じて補間処理の対象となる空格子点に対して類似性が
強い方向に隣接する格子点の色情報の大きさを選択、も
しくは該空格子点に対して縦方向および横方向に位置す
る格子点の色情報の大きさを該類似度に応じて加重加算
することによって、該空格子点の補間量を決定する補間
量決定手順とを備えたことを特徴とする。
められた色を出力する格子点と該色を出力しない空格子
点とが市松模様状に配された画像の補間処理方法におい
て、補間処理の対象となる空格子点の色情報の大きさ
と、該空格子点に対して斜め方向の少なくとも一方に位
置する空格子点の色情報の大きさと、補間処理の対象と
なる空格子点および該空格子点に対して斜め方向の少な
くとも一方に位置する空格子点に隣接する格子点の色情
報とを用いて、補間処理の対象となる空格子点の縦方向
の類似度および横方向の類似度を決定する類似度決定手
順と、前記縦方向の類似度および前記横方向の類似度に
応じて補間処理の対象となる空格子点に対して類似性が
強い方向に隣接する格子点の色情報の大きさを選択、も
しくは該空格子点に対して縦方向および横方向に位置す
る格子点の色情報の大きさを該類似度に応じて加重加算
することによって、該空格子点の補間量を決定する補間
量決定手順とを備えたことを特徴とする。
められた色を出力する格子点と該色を出力しない空格子
点とが市松模様状に配された画像の補間処理方法におい
て、補間処理の対象となる空格子点の色情報の大きさ
と、該空格子点に対して縦方向の少なくとも一方に隣接
する格子点の色情報の大きさとを用いて、該空格子点と
当該格子点との類似度を示す縦類似度を決定する縦類似
度決定手順と、補間処理の対象となる空格子点の色情報
の大きさと、該空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて、該空
格子点と当該格子点との類似度を示す横類似度を決定す
る横類似度決定手順と、補間処理の対象となる空格子点
の周辺に位置する格子点の色情報の大きさと、該空格子
点の周辺に位置する空格子点の色情報の大きさとを用い
て、周辺に位置する空格子点の縦方向の類似度を示す周
辺縦類似度を決定する周辺縦類似度決定手順と、補間処
理の対象となる空格子点の周辺に位置する格子点の色情
報の大きさと、該空格子点の周辺に位置する空格子点の
色情報の大きさとを用いて、周辺に位置する空格子点の
横方向の類似度を示す周辺横類似度を決定する周辺横類
似度決定手順と、前記縦類似度および前記周辺縦類似度
に基づき、補間処理の対象となる空格子点の縦方向の類
似度を決定すると共に、前記横類似度および前記周辺横
類似度に基づき、該空格子点の横方向の類似度を決定す
る類似度決定手順と、前記縦方向の類似度および前記横
方向の類似度に応じて補間処理の対象となる空格子点に
対して類似性が強い方向に隣接する格子点の色情報の大
きさを選択、もしくは該空格子点に対して縦方向および
横方向に位置する格子点の色情報の大きさを該類似度に
応じて加重加算することによって、該空格子点の補間量
を決定する補間量決定手順とを備えたことを特徴とす
る。
3に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して横方向の
少なくとも一方に隣接する格子点の色情報の大きさと、
当該格子点に対して補間処理の対象となる空格子点とは
反対方向に隣接する空格子点の色情報の大きさとを用い
て周辺横類似度を決定し、周辺横類似度決定手順は、補
間処理の対象となる空格子点に対して横方向の少なくと
も一方に隣接する格子点の色情報の大きさと、当該格子
点に対して補間処理の対象となる空格子点とは反対方向
に隣接する空格子点の色情報の大きさとを用いて周辺横
類似度を決定することを特徴とする。
3に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して横方向の
少なくとも一方に隣接する格子点の色情報の大きさと、
当該格子点に対して縦方向の少なくとも一方に隣接する
空格子点の色情報の大きさとを用いて周辺縦類似度を決
定し、周辺横類似度決定手順は、補間処理の対象となる
空格子点に対して縦方向の少なくとも一方に隣接する格
子点の色情報の大きさと、当該格子点に対して横方向の
少なくとも一方に隣接する空格子点の色情報の大きさと
を用いて周辺横類似度を決定することを特徴とする。
3に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して斜め方向
の少なくとも一方に位置する空格子点の色情報の大きさ
と、斜め方向に位置する空格子点に対して縦方向の少な
くとも一方に隣接する格子点の色情報の大きさとを用い
て周辺縦類似度を決定し、周辺横類似度決定手順は、補
間処理の対象となる空格子点に対して斜め方向の少なく
とも一方に位置する空格子点の色情報の大きさと、斜め
方向に位置する空格子点に対して横方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて周辺縦
類似度を決定することを特徴とする。
3に記載の補間処理方法において、周辺縦類似度決定手
順は、補間処理の対象となる空格子点に対して上下左右
方向と斜め方向とを含む8方向の少なくとも一方に位置
する空格子点の色情報の大きさと、8方向の少なくとも
一方に位置する空格子点に対して縦方向の少なくとも一
方に隣接する格子点の色情報の大きさとを用いて周辺縦
類似度を決定し、周辺横類似度決定手順は、補間処理の
対象となる空格子点に対して上下左右方向と斜め方向と
を含む8方向の少なくとも一方に位置する空格子点の色
情報の大きさと、8方向の少なくとも一方に位置する空
格子点に対して横方向の少なくとも一方に隣接する格子
点の色情報の大きさとを用いて周辺縦類似度を決定する
ことを特徴とする。
1ないし請求項7の何れか1項に記載の補間処理方法に
おいて、補間量決定手順は、前記縦方向の類似度および
前記横方向の類似度について、何れか一方の類似度が突
出する場合、その類似度を示す方向に隣接する2つの格
子点の色情報の大きさの平均値を補間量とし、双方の類
似度が近似する場合、該平均値を算出する以外の方法で
補間量を決定することを特徴とする。
8に記載の補間処理方法において、補間量決定手順は、
前記縦方向の類似度および前記横方向の類似度が近似す
る場合、各類似度に対応する重み係数に基づいて該空格
子点の補間量を決定することを特徴とする。請求項10
に記載の補間処理方法は、請求項8に記載の補間処理方
法において、補間量決定手順は、前記縦方向の類似度お
よび前記横方向の類似度が近似する場合、補間処理の対
象となる空格子点に隣接する4つの格子点の色情報の大
きさのメディアンによって該空格子点の補間量を決定す
ることを特徴とする。
施形態について詳細を説明する。なお、ここでは、本発
明にかかわる補間処理方法を実現する電子スチルカメラ
を用いて説明を行う。 (第一の実施形態)図1は、第一の実施形態にかかわる
電子カメラの機能ブロック図である。
8および請求項9に記載の発明に対応した実施形態に相
当する。また、第一の実施形態および後述する各実施形
態では、緑色を出力する画素を格子点とし、赤色もしく
は青色を出力する画素を緑色に関する空格子点とする。
すなわち、第一の実施形態および後述する各実施形態に
おける補間処理は、これらの空格子点の緑色の色情報の
大きさに相当する補間量を求める処理に相当する。
光学系11、OLPF (光学的低域通過フィルタ:Opti
cal Low Pass Filter)12、撮像素子13、A/D変換
部14、階調変換部15、画像バッファメモリ16およ
び信号処理部17に接続される。信号処理部17は、補
間処理部18を有し、補間処理部18は、類似度算出部
19および補間量算出部20で構成される。
LPF12によってフィルタリングされ、撮像素子13
に与えられる。なお、OLPF12を設けず、撮影光学
系11で取得された光学像が撮像素子13に直接与えら
れてもよい。撮像素子13の出力はA/D変換部14に
接続され、A/D変換部14の出力は階調変換部15に
接続される。また、階調変換部15の出力は画像バッフ
ァメモリ16に接続され、画像バッファメモリ16の出
力は信号処理部17に接続される。
ッファメモリ16の出力は、信号処理部17を介して類
似度算出部19と補間量算出部20とに接続される。ま
た、補間量算出部20には、類似度算出部19から縦方
向の類似度と横方向の類似度が供給され、画像バッファ
メモリ16には、信号処理部17を介して補間量算出部
20から補間量が供給される(詳細は、後述する)。
施形態では、撮像素子13として、図14(1)に示す
ようなRGBの3色のカラーフィルタがベイア配列され
た構成の撮像素子を用い、画像バッファメモリ16は、
これらの3色に対応する3つの領域で構成される。ここ
で、画像バッファメモリ16内の緑色に対応する領域
は、A/D変換部14によって生成されて、階調変換部
15によって階調変換(log化やγ変換等)された緑
色の画像データ(格子点の画素出力に相当する)を格納
する領域と、後述する補間処理によって得られる緑色の
画像データ(空格子点の補間量に相当する)を格納する
領域とで構成される。
像素子13の各画素の位置は、「右方向を正とする横軸
X」と「下方向を正とする縦軸Y」とで構成される座標
系で表す。また、格子点の画素出力は、G(x,y)で
表し、空格子点の補間量は、G'(x,y)で表す。図
2は、このような格子点の色情報の大きさと空格子点の
補間量とを示した図である。図において、X_maxはX成
分の最大値を示し、Y_maxはY成分の最大値を示す。
ートである。図4は、第一の実施形態の補間処理の動作
フローチャートである。図5は、第一の実施形態の類似
度の算出方法を説明する図である。図5において、格子
点をGで示し、空格子点をRBで示し、補間処理の対象
となる空格子点の座標を(i,j)で示す。
の発明と第一の実施形態との対応関係については、縦方
向類似度決定手順および横方向類似度決定手順は類似度
算出部19で行われる処理に対応し、補間量決定手順は
補間量算出部20で行われる処理に対応する。以下、図
1ないし図5を参照して第一の実施形態の動作を説明す
る。
像素子13では、撮影光学系11およびOLPF12を
介して与えられる光学像が光電変換面(図示されない)
に結像され、光電変換によって信号電荷が生成される。
また、撮像素子13は、このように生成された信号電荷
を走査して画像信号を生成し、A/D変換部14に与え
る。
た画像信号をA/D変換し、階調変換部15は、A/D
変換された画像信号を階調変換(log化やγ変換等)
して画像データを生成する(図3S1)。なお、第一の
実施形態および後述する各実施形態において、画像デー
タは、撮像素子13の各画素に対応する色情報に相当す
る。
Bの3色に分割され、各色に対応する画像バッファメモ
リ16内の領域に格納される(図3S2)。なお、この
ような処理は、制御部10によるタイミング制御に基づ
き繰り返し行われる。また、これらの緑色の画像データ
(格子点の色情報)は、図2に示すように、上述した座
標系で示される座標に対応付けられて格納される。
設けられたレリーズボタン(図示されない)が押下され
たか否かを判定する(図3S3)。制御部10は、この
ような判定によって、レリーズボタンが押下されていな
いことを認識すると、上述したタイミング制御によって
画像データの生成(図3S1)および格納(図3S2)
の処理を繰り返し指示する。
下されたことを認識すると、信号処理部17内の補間処
理部18に対して、後述するような補間処理の実行を指
示する(図3S4)。すなわち、本実施形態では、レリ
ーズボタンが押下された時点に画像バッファメモリ16
に格納されている画像データが補間処理の対象となる。
タンが押下された時点によらず、常時、補間処理を実行
してもよい。また、レリーズ後にS1以降の処理を行っ
てもよい。このようにして補間処理が施された画像デー
タ(空格子点の補間量)は、画像バッファメモリ16に
格納される(図3S5)。
理部18は、制御部10によって補間処理の実行が指示
されると、補間処理の対象となる空格子点を選択する
(図4S1)。例えば、図2において、任意の座標
(x,y)について「x+y=奇数」が成り立つ場合、
その座標には、空格子点が対応付けられている。そのた
め、本実施形態では、各画素に対応付けられた座標を
(1,1)から(X_max,Y_max)まで順次検索し、X
成分とY成分との和が奇数である座標を空格子点とす
る。
y)について「x+y=奇数」が成り立つ場合、xが偶
数であるか奇数であるかを判定することによって、その
座標の画素から出力される色を識別することができる。
例えば、「x+y=奇数 かつx=偶数」が成り立つ画
素の出力を赤色とすると、「x+y=奇数 かつ x=奇
数」が成り立つ画素の出力は青色となる。
理の対象となる空格子点を選択すると、類似度算出部1
9、補間量算出部20を起動する。類似度算出部19
は、図5に示すように、補間処理の対象となる空格子点
(i,j)の色情報の大きさRB(i,j)と、その空
格子点に対して縦方向および横方向に隣接する格子点の
色情報の大きさG(i,j−1),G(i,j+1),
G(i−1,j),G(i+1,j)を画像バッファメ
モリ16から読み出す。すなわち、補間処理の対象とな
る空格子点の縦方向の類似度および横方向の類似度を算
出する際に用いる色情報の大きさを画像バッファメモリ
16から読み出す。
j)、G(i,j−1)およびG(i,j+1)を用い
て、縦方向の類似度Ctsum(i,j)を Ctsum(i,j)=t×|RB(i,j)−G(i,j
−1)|+(1−t)×|RB(i,j)−G(i,j
+1)| によって算出し、RB(i,j)、G(i−1,j)お
よびG(i+1,j)を用いて、横方向の類似度Cysum
(i,j)を Cysum(i,j)=y×|RB(i,j)−G(i−
1,j)|+(1−y)×|RB(i,j)−G(i+
1,j)| によって算出する(図4S2)。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。さらに、類似度算出部19は、このように
算出した縦方向の類似度Ctsum(i,j)および空格子
点の横方向の類似度Cysum(i,j)を補間量算出部2
0に供給する。
um(i,j)および空格子点の横方向の類似度Cysum
(i,j)が供給されると、補間処理の対象となる空格
子点に対して縦方向および横方向に隣接する格子点の色
情報の大きさG(i,j−1),G(i,j+1),G
(i−1,j),G(i+1,j)を画像バッファメモ
リ16から読み出し、その空格子点の補間量G'(i,
j)を G'(i,j)={(G(i,j−1)+G(i,j+1))× (1+f(x)) +(G(i−1,j)+G(i+1,j))× (1−f(x))}/4 ・・・式1 によって算出する。
(i,j))/{(Cysum(i,j)+Ctsum(i,
j))×T1+T0} −1≦x≦1のとき f(x)=x x>1のとき f(x)=1 x<−1のとき f(x)=−1 ここで、T1は「0≦T1≦1」を満たす定数であり、色情
報の大きさを「0から255まで」の数値(8ビット)
で示した場合、T0は「0から100まで」の定数とす
る。また、T0とT1とは共に「0」となることはない。例
えば、T1とT0との組み合わせ(t1,t0)としては、
(0.3,0)、(0.5、10)、(0.7,0)、
(0.3,40)、(0.5,40)、(0.7,4
0)が考えられる。
ysum(i,j)+Ctsum(i,j))×T1+T0} を空格子点の類似度の評価値とし、その評価値に応じて
空格子点の補間量を算出する。ここで、「x>0」が成
り立つ場合には横方向の類似度よりも縦方向の類似度が
強く、「x<0」が成り立つ場合には縦方向の類似度よ
りも横方向の類似度が強いことを意味する。
状となる。ところで、式1は、「x>1」が成り立つ場
合、「f(x)=1」であるため、 G'(i,j)=(G(i,j−1)+G(i,j+
1))/2 と等価であり、「x<−1」が成り立つ場合、「f
(x)=−1」であるため、 G'(i,j)=(G(i−1,j)+G(i+1,
j))/2 と等価である。
1」が成り立つか否かを判定することによって空格子点
の縦方向の類似度が突出しているか否かを判定し(図4
S3)、「x<−1」が成り立つか否かを判定すること
によって空格子点の横方向の類似度が突出しているか否
かを判定する(図4S4)。また、補間量算出部20
は、空格子点の縦方向の類似度が突出している場合(図
4S4のYES側)、縦方向に隣接する二つの格子点の
色情報の大きさの平均値を空格子点の補間量とし(図4
S5)、空格子点の横方向の類似度が突出している場合
(図4S4のYES側)、横方向に隣接する二つの格子
点の色情報の大きさの平均値を空格子点の補間量とする
(図4S6)。
り立つ場合、 G'(i,j)={(G(i,j−1)+G(i,j+
1))/2}×{(1+x)/2}+{(G(i−1,
j)+G(i+1,j))/2}×{(1−x)/2} と等価である。
j+1))/2」は、縦方向に隣接する二つの格子点の
色情報の大きさの平均値に相当し、「(1+x)/2」
は、縦方向の類似度に対応する重み係数に相当する。ま
た、「(G(i−1,j)+G(i+1,j))/2」
は、横方向に隣接する二つの格子点の色情報の大きさの
平均値に相当し、「(1−x)/2」は、横方向の類似
度に対応する重み係数に相当する。
似度も突出していないことを認識した場合(図4S4の
NO側)、空格子点の縦方向に隣接する二つの格子点の
色情報の大きさの平均値および横方向に隣接する二つの
格子点の色情報の大きさの平均値に対し、各方向の類似
度の評価値に基づく加重加算を施すことによって空格子
点の補間量を算出する(図4S7)。
の補間処理が完了したか否かを判定する(図4S8)。
例えば、このような判定は、上述したような各画素に対
応付けられた座標を検索する過程で、任意の座標(i,
j)について、「i>X_max−3」および「j>Y_max
−3」が成り立つか否かを判定することに相当する。
理をそのまま適用できない部分については、画像の端か
ら先を折り返して仮想の画像を生成し(公知の技術)、
このように生成した画像を用いて補間処理を行ってもよ
い。補間処理部18は、このような判定によって、全て
の空格子点の補間処理が完了したことを認識するまで、
上述した処理(図4S1以降の処理)を繰り返し行う。
の対象となる空格子点の縦方向の類似度および横方向の
類似度に、その空格子点の色情報の大きさを反映するこ
とができる。そのため、例えば、図16に示す画像の補
間処理を行う場合には、縦方向の類似度が突出している
ことが判定できる。したがって、本実施形態によれば、
米国特許第5,382,976号明細書に開示された従
来の補間処理によって破綻する可能性があった画像に対
しても、高い精度で補間処理を行うことができる。
5」として縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)を算出しているが、例え
ば、「t=y=0」または「t=y=1」として縦方向
の類似度Ctsum(i,j)および横方向の類似度Cysum
(i,j)を算出してもよい。仮に、「t=y=0」と
した場合、縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)を Ctsum(i,j)=|RB(i,j)−G(i,j+
1)| Cysum(i,j)=|RB(i,j)−G(i+1,
j)| によって算出できるため、類似度算出部19は、G
(i,j−1)およびG(i−1,j)を画像バッファ
メモリ16から読み出す必要がない。
示す形状としているが、縦方向の類似度Ctsum(i,
j)および横方向の類似度Cysum(i,j)の何れか一
方の類似度が突出する場合、その突出する類似度を示す
方向に隣接する二つの格子点の色情報の大きさの平均値
を空格子点の補間量とできれば、f(x)は如何なる関
数であってもよい。
にf(x)の値を算出しているが、例えば、補間量算出
部18内にルックアップテーブルを設けて予め算出した
f(x)の値を格納し、空格子点の縦方向の類似度Cts
um(i,j)や横方向の類似度Cysum(i,j)に対応
付けてルックアップテーブルを参照することによってf
(x)の値を取得してもよい。
度が突出しているか否かの判定をxの値に基づいて行っ
ているが、例えば、縦方向の類似度Ctsum(i,j)が
所定の値(ここでは、Thとする)以下であり横方向の類
似度Cysum(i,j)がThを上回る場合には、縦方向の
類似度Ctsum(i,j)が突出していると判定し、横方
向の類似度Cysum(i,j)がTh以下であり縦方向の類
似度Ctsum(i,j)がThを上回る場合には、横方向の
類似度Cysum(i,j)が突出していると判定してもよ
い。
ために、分母に相当する値を算出した後、その値をテー
ブル参照で「1/分母」に相当する値に置き換えて、掛
算でxを求めてもよいし、分子の絶対値と分母とを対数
化(テーブル参照などにより)してから差をとり、これ
と所定値との大小を比較する方法(この場合、符号は別
途判別する)に置き換えてもよい。
tsum(i,j)および横方向の類似度Cysum(i,j)
が近似する場合、請求項9を適用して各類似度に対応す
る重み係数に基づいて空格子点の補間量を算出している
が、例えば、請求項9に代えて請求項10を適用するこ
とによって、空格子点に隣接する4つの格子点の色情報
の大きさのメディアンに基づき空格子点の補間量を算出
してもよい。
態の類似度の算出方法を説明する図である。図におい
て、格子点をGで示し、空格子点をRBで示し、補間処
理の対象となる空格子点の座標を(i,j)で示す。な
お、第二の実施形態は、請求項1、請求項8および請求
項9に記載の発明に対応した実施形態に相当する。ま
た、これらの請求項に記載の発明と第二の実施形態との
対応関係については、縦方向類似度決定手順および横方
向類似度決定手順は類似度算出部19で行われる処理に
対応し、補間量決定手順は補間量算出部20で行われる
処理に対応する。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、第一の実施
形態と同様に、補間処理の対象となる空格子点(i,
j)の色情報の大きさRB(i,j)と、その空格子点
に対して縦方向および横方向に隣接する格子点の色情報
の大きさG(i,j−1),G(i,j+1),G(i
−1,j),G(i+1,j)を画像バッファメモリ1
6から読み出す。
うに、RB(i,j)、G(i,j−1)およびG
(i,j+1)を用いて、縦方向の類似度Ctsum(i,
j)を Ctsum(i,j)=|t×G(i,j−1)+(1−
t)×G(i,j+1)−RB(i,j)| によって算出し、RB(i,j)、G(i−1,j)お
よびG(i+1,j)を用いて、横方向の類似度Cysum
(i,j)を Cysum(i,j)=|y×G(i−1,j)+(1−
y)×G(i+1,j)−RB(i,j)| によって算出する(図4S2に相当する)。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。このように、第二の実施形態では、補間処
理の対象となる空格子点の縦方向の類似度および横方向
の類似度に、その空格子点の色情報の大きさを反映する
ことができる。そのため、第一の実施形態と同様に、米
国特許第5,382,976号明細書に開示された従来
の補間処理によって破綻する可能性があった画像に対し
ても、高い精度で補間処理を行うことができる。
5」として縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)を算出しているが、例え
ば、「t=y=0」または「t=y=1」として縦方向
の類似度Ctsum(i,j)および横方向の類似度Cysum
(i,j)を算出してもよい。仮に、「t=y=1」と
した場合、縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)を Ctsum(i,j)=|G(i,j−1)−RB(i,
j)| Cysum(i,j)=|G(i−1,j)−RB(i,
j)| によって算出できるため、類似度算出部19は、G
(i,j+1)およびG(i+1,j)を画像バッファ
メモリ16から読み出す必要がない。
態の類似度の算出方法を説明する図である。図におい
て、格子点をGで示し、空格子点をRBで示し、補間処
理の対象となる空格子点の座標を(i,j)で示す。な
お、第三の実施形態は、請求項2、請求項8および請求
項9に記載の発明に対応した実施形態に相当する。ま
た、これらの請求項に記載の発明と第三の実施形態との
対応関係については、縦方向類似度決定手順および横方
向類似度決定手順は類似度算出部19で行われる処理に
対応し、補間量決定手順は補間量算出部20で行われる
処理に対応する。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、図8に示す
ように、補間処理の対象となる空格子点(i,j)の色
情報の大きさRB(i,j)と、その空格子点に対して
上方向および左方向に隣接する格子点の色情報の大きさ
G(i,j−1),G(i−1,j)と、その空格子点
に対して左上方向に位置する空格子点の色情報の大きさ
RB(i−1,j−1)を画像バッファメモリ16から
読み出す。
うに、RB(i,j)、G(i,j−1)、G(i−
1,j)およびRB(i−1,j−1)を用いて、縦方
向の類似度Ctsum(i,j)を Ctsum(i,j)=(t×|RB(i,j)−G(i,
j−1)|+(1−t)×|RB(i−1,j−1)−
G(i−1,j)|) によって算出し、RB(i,j)、G(i−1,j)お
よびG(i+1,j)を用いて、横方向の類似度Cysum
(i,j)を Cysum(i,j)=(y×|RB(i,j)−G(i−
1,j)|+(1−y)×|RB(i−1,j−1)−
G(i,j−1)|) によって算出する(図4S2に相当する)。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。このように、第三の実施形態では、補間処
理の対象となる空格子点の縦方向の類似度および横方向
の類似度に、補間処理の対象となる空格子点や、その空
格子点の周辺に位置する空格子点の色情報の大きさを反
映することができる。そのため、米国特許第5,38
2,976号明細書に開示された従来の補間処理によっ
て破綻する可能性があった画像に対しても、高い精度で
補間処理を行うことができる。
5」として縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)を算出しているが、例え
ば、「t=y=0」または「t=y=1」として縦方向
の類似度Ctsum(i,j)および横方向の類似度Cysum
(i,j)を算出してもよい。仮に、「t=y=0」と
した場合、縦方向の類似度Ctsum(i,j)および横方
向の類似度Cysum(i,j)は、 Ctsum(i,j)=|RB(i−1,j−1)−G(i
−1,j)| Cysum(i,j)=|RB(i−1,j−1)−G
(i,j−1)| によって算出される。すなわち、このような場合には、
補間処理の対象となる空格子点の周辺に位置する格子点
および空格子点の色情報の大きさによって縦方向の類似
度および横方向の類似度が決定されることになる。
なる空格子点以外の空格子点の色情報の大きさとして、
補間処理の対象となる空格子点に対して左上に位置する
空格子点の色情報の大きさを用いたが、請求項2に記載
の発明は、このような色情報の大きさに限定されず、左
上に位置する空格子点に代えて右上、右下または左下に
位置する空格子点の色情報の大きさを用いてもよく、こ
れら四つの空格子点の色情報の大きさを用いて算出した
値を加重加算してもよい。
および横方向の類似度Cysum(i,j)を下式によって
算出することができる。 Ctsum(i,j)=(t1×|RB(i,j)−G(i,j−1)|+ (1−t1)×|RB(i−1,j−1)−G(i−1,j)|)×ht1 (t2×|RB(i,j)−G(i,j−1)|+ (1−t2)×|RB(i+1,j−1)−G(i+1,j)|)×ht2 (t3×|RB(i,j)−G(i,j+1)|+ (1−t3)×|RB(i−1,j+1)−G(i−1,j)|)×ht3 (t4×|RB(i,j)−G(i,j+1)|+ (1−t4)×|RB(i+1,j+1)−G(i+1,j)|)×ht4 Cysum(i,j)=(y1×|RB(i,j)−G(i−1,j)|+ (1−y1)×|RB(i−1,j−1)−G(i,j−1)|)×hy1 (y2×|RB(i,j)−G(i+1,j)|+ (1−y2)×|RB(i+1,j−1)−G(i,j−1)|)×hy2 (y3×|RB(i,j)−G(i−1,j)|+ (1−y3)×|RB(i−1,j+1)−G(i,j+1)|)×hy3 (y4×|RB(i,j)−G(i+1,j)|+ (1−y4)×|RB(i+1,j+1)−G(i,j+1)|)×hy4 ただし、t1〜t4、y1〜y4は「0」以上「1」以下の定数
であり、ht1〜ht4、hy1〜hy4は定数であり、かつ少なく
とも1つは「0」でない。
+ht4 =1」および「hy1+hy2+hy3+hy4 =1」とし
た場合には、補間処理の対象となる空格子点に対して斜
め方向に位置する空格子点の色情報の大きさを用いて得
られた値を加重加算したことに相当する。 (第四の実施形態)図9は、第四の実施形態の類似度の
算出方法を説明する図である。
をRBで示し、補間処理の対象となる空格子点の座標を
(i,j)で示す。なお、第四の実施形態は、請求項
3、請求項4、請求項8および請求項9に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第四の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部19で行われる処理に対応し、補間量
決定手順は、補間量算出部20で行われる処理に対応す
る。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、図9に示す
ように、補間処理の対象となる空格子点(i,j)の色
情報の大きさRB(i,j)と、その空格子点に対して
縦方向および横方向に隣接する格子点の色情報の大きさ
G(i,j−1),G(i,j+1),G(i−1,
j),G(i+1,j)を画像バッファメモリ16から
読み出す。
うに、RB(i,j)、G(i,j−1)およびG
(i,j+1)を用いて、縦類似度Ct(i,j)を Ct(i,j)=t×|RB(i,j)−G(i,j−
1)|+(1−t)×|RB(i,j)−G(i,j+
1)| によって算出し、RB(i,j)、G(i−1,j)お
よびG(i+1,j)を用いて、横類似度Cy(i,
j)を Cy(i,j)=y×|RB(i,j)−G(i−1,
j)|+(1−y)×|RB(i,j)−G(i+1,
j)| によって算出する。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。さらに、類似度算出部19は、補間処理の
対象となる空格子点の周辺に位置する空格子点の色情報
の大きさRB(i,j−2)、RB(i,j+2)、R
B(i−2,j)、RB(i+2,j)を画像バッファ
メモリ16から読み出す。
み出したRB(i,j−2)、RB(i,j+2)、R
B(i−2,j)、RB(i+2,j)と、既に読み出
されているG(i,j−1)、G(i,j+1)、G
(i−1,j)、G(i+1,j)とを用いて、周辺縦
類似度Ctn(i,j)および周辺横類似度Cyn(i,
j)を Ctn(i,j)=t1×|RB(i,j−2)−G(i,
j−1)|+t2×|RB(i,j+2)−G(i,j+
1)| Cyn(i,j)=y1×|RB(i−2,j)−G(i−
1,j)|+y2×|RB(i+2,j)−G(i+1,
j)| によって算出する。
くとも1つは「0」でなく、y1およびy2は定数であり、
かつ少なくとも1つは「0」でない。さらに、類似度算
出部19は、このように算出したCt(i,j)、Cy
(i,j)、Ctn(i,j)、Cyn(i,j)を用い
て、縦方向の類似度Ctsum(i,j)および横方向の類
似度Cysum(i,j)を Ctsum(i,j)=Ct(i,j)+Ctn(i,j)×h
t Cysum(i,j)=Cy(i,j)+Cyn(i,j)×h
y によって算出する。
ば、「1/2」や「1/4」とする。このように、第四
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。したがって、補間処理
の対象となる空格子点の縦方向の類似度および横方向の
類似度の信頼性を確実に向上させることができるため、
高い精度で補間処理を行うことができる。
形態の類似度の算出方法を説明する図である。図におい
て、格子点をGで示し、空格子点をRBで示し、補間処
理の対象となる空格子点の座標を(i,j)で示す。な
お、第五の実施形態は、請求項3、請求項5、請求項8
および請求項9に記載の発明に対応した実施形態に相当
する。また、これらの請求項に記載の発明と第五の実施
形態との対応関係については、縦類似度決定手順、横類
似度決定手順、周辺縦類似度決定手順、周辺横類似度決
定手順および類似度決定手順は、類似度算出部19で行
われる処理に対応し、補間量決定手順は、補間量算出部
20で行われる処理に対応する。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。
様に、画像バッファメモリ16からRB(i,j)、G
(i,j−1),G(i,j+1),G(i−1,
j),G(i+1,j)を読み出し、縦類似度Ct
(i,j)および横類似度Cy(i,j)を Ct(i,j)=t×|RB(i,j)−G(i,j−
1)|+(1−t)×|RB(i,j)−G(i,j+
1)| Cy(i,j)=y×|RB(i,j)−G(i−1,
j)|+(1−y)×|RB(i,j)−G(i+1,
j)| によって算出する(図示省略)。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。また、類似度算出部19は、図10に示す
ように、補間処理の対象となる空格子点に対して斜め方
向に位置する四つの空格子点の色情報の大きさRB(i
−1,j−1)、RB(i−1,j+1)、RB(i+
1,j−1)、RB(i+1,j+1)を画像バッファ
メモリ16から読み出す。
読み出したRB(i−1,j−1)、RB(i−1,j
+1)、RB(i+1,j−1)、RB(i+1,j+
1)と、既に読み出されているG(i,j−1)、G
(i,j+1)、G(i−1,j)、G(i+1,j)
とを用いて、周辺縦類似度Ctn(i,j)および周辺横
類似度Cyn(i,j)を Ctn(i,j)=t1×|RB(i−1,j−1)−G
(i−1,j)|+t2×|RB(i−1,j+1)−G
(i−1,j)|+t3×|RB(i+1,j−1)−G
(i+1,j)|+t4×|RB(i+1,j+1)−G
(i+1,j)| Cyn(i,j)=y1×|RB(i−1,j−1)−G
(i,j−1)|+y2×|RB(i+1,j−1)−G
(i,j−1)|+y3×|RB(i−1,j+1)−G
(i,j+1)|+y4×|RB(i+1,j+1)−G
(i,j+1)| によって算出する。
も1つは「0」でなく、y1〜y4は定数であり、かつ少な
くとも1つは「0」でない。また、類似度算出部19
は、このように算出したCt(i,j)、Cy(i,
j)、Ctn(i,j)、Cyn(i,j)を用いて、縦方
向の類似度Ctsum(i,j)および横方向の類似度Cys
um(i,j)を Ctsum(i,j)=Ct(i,j)+Ctn(i,j)×h
t Cysum(i,j)=Cy(i,j)+Cyn(i,j)×h
y によって算出する。
ば、「1/2」や「1/4」とする。このように、第五
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。したがって、補間処理
の対象となる空格子点の縦方向の類似度および横方向の
類似度の信頼性を確実に向上させることができるため、
高い精度で補間処理を行うことができる。
の実施形態では、縦類似度Ct(i,j)および横類似
度Cy(i,j)を Ct(i、j)=t×|RB(i,j)−G(i,j−
1)|+(1−t)×|RB(i,j)−G(i,j+
1)| Cy(i,j)=y×|RB(i,j)−G(i−1,
j)|+(1−y)×|RB(i,j)−G(i+1,
j)| によって算出しているが、例えば、縦類似度Ct(i,
j)および横類似度Cy(i,j)を Ct(i,j)=|t×G(i,j−1)+(1−t)
×G(i,j+1)−RB(i,j)| Cy(i,j)=|y×G(i−1,j)+(1−y)
×G(i+1,j)−RB(i,j)| によって算出してもよい。
形態の類似度の算出方法を説明する図である。図におい
て、格子点をGで示し、空格子点をRBで示し、補間処
理の対象となる空格子点の座標を(i,j)で示す。な
お、第六の実施形態は、請求項3、請求項6、請求項8
および請求項9に記載の発明に対応した実施形態に相当
する。また、これらの請求項に記載の発明と第六の実施
形態との対応関係については、縦類似度決定手順、横類
似度決定手順、周辺縦類似度決定手順、周辺横類似度決
定手順および類似度決定手順は、類似度算出部19で行
われる処理に対応し、補間量決定手順は、補間量算出部
20で行われる処理に対応する。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、図11
(1)に示すように、縦類似度および横類似度を算出す
べき空格子点の座標を(i,j)とした場合、その空格
子点の色情報の大きさと、その空格子点に隣接する格子
点の色情報の大きさを用いて縦類似度および横類似度を
算出する。なお、図11(1)において、Gupは、縦類
似度および横類似度を算出すべき空格子点に対して上方
向に隣接する格子点の色情報の大きさを示し、Gdoun
は、下方向に隣接する格子点の色情報の大きさを示し、
Gleftは、左方向に隣接する格子点の色情報の大きさを
示し、Grightは、右方向に隣接する格子点の色情報の
大きさを示す。
ファメモリ16からRB(i,j)、G(i,j−
1),G(i,j+1),G(i−1,j),G(i+
1,j)を読み出し、縦類似度Ct(i,j)および横
類似度Cy(i,j)を Ct(i,j)=t×|RB(i,j)−G(i,j−
1)|+(1−t)×|RB(i,j)−G(i,j+
1)| Cy(i,j)=y×|RB(i,j)−G(i−1,
j)|+(1−y)×|RB(i,j)−G(i+1,
j)| によって算出する。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。また、類似度算出部19は、図11
(2)、(3)に示すように、補間処理の対象となる空
格子点の斜め方向に位置する空格子点の縦類似度および
横類似度を算出し、各縦類似度を加重加算して周辺縦類
似度Ctn(i,j)を算出すると共に、各横類似度を加
重加算して周辺横類似度Cyn(i,j)を算出する。
似度Ctn(i,j)および周辺横類似度Cyn(i,j)
を Ctn(i,j)=t1×Ct(i−1,j−1)+t2×C
t(i+1,j−1)+t3×Ct(i+1,j+1)+
t4×Ct(i−1,j+1) Cyn(i,j)=y1×Cy(i−1,j−1)+y2×C
y(i+1,j−1)+y3×Cy(i+1,j+1)+
y4×Cy(i−1,j+1) によって算出する。
も1つは「0」でなく、y1〜y4は定数であり、かつ少な
くとも1つは「0」でない。また、類似度算出部19
は、このように算出したCt(i,j)、Cy(i,
j)、Ctn(i,j)、Cyn(i,j)を用いて、縦方
向の類似度Ctsum(i,j)および横方向の類似度Cys
um(i,j)を Ctsum(i,j)=Ct(i,j)+Ctn(i,j)×h
t Cysum(i,j)=Cy(i,j)+Cyn(i,j)×h
yによって算出する。
ば、「1/2」や「1/4」とする。このように、第六
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第六の実施形態
は、このような類似度の算出に際し、第四の実施形態お
よび第五の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。 (第七の実施形態)図12は、第七の実施形態の類似度
の算出方法を説明する図である。
をRBで示し、補間処理の対象となる空格子点の座標を
(i,j)で示す。なお、第七の実施形態は、請求項
3、請求項6、請求項8および請求項9に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第七の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部19で行われる処理に対応し、補間量
決定手順は、補間量算出部20で行われる処理に対応す
る。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、図12
(1)に示すように、縦類似度および横類似度を算出す
べき空格子点の座標を(i,j)とした場合、その空格
子点の色情報の大きさと、その空格子点に隣接する格子
点の色情報の大きさを用いて縦類似度および横類似度を
算出する。
ファメモリ16からRB(i,j)、G(i,j−
1),G(i,j+1),G(i−1,j),G(i+
1,j)を読み出し、縦類似度Ct(i,j)および横
類似度Cy(i,j)を Ct(i,j)=|t×G(i,j−1)+(1−t)
×G(i,j+1)−RB(i,j)| Cy(i,j)=|y×G(i−1,j)+(1−y)
×G(i+1,j)−RB(i,j)| によって算出する。
y≦1」満たす定数であり、ここでは、「t=y=0.
5」とする。また、類似度算出部19は、図12
(2)、(3)に示すように、補間処理の対象となる空
格子点の斜め方向に位置する空格子点の縦類似度および
横類似度を算出し、各縦類似度を加重加算して周辺縦類
似度Ctn(i,j)を算出すると共に、各横類似度を加
重加算して周辺横類似度Cyn(i,j)を算出する。
似度Ctn(i,j)および周辺横類似度Cyn(i,j)
を Ctn(i,j)=t1×Ct(i−1,j−1)+t2×C
t(i+1,j−1)+t3×Ct(i+1,j+1)+
t4×Ct(i−1,j+1) Cyn(i,j)=y1×Cy(i−1,j−1)+y2×C
y(i+1,j−1)+y3×Cy(i+1,j+1)+
y4×Cy(i−1,j+1) によって算出する。
も1つは「0」でなく、y1〜y4は定数であり、かつ少な
くとも1つは「0」でない。また、類似度算出部19
は、このように算出したCt(i,j)、Cy(i,
j)、Ctn(i,j)、Cyn(i,j)を用いて、縦方
向の類似度Ctsum(i,j)および横方向の類似度Cys
um(i,j)を Ctsum(i,j)=Ct(i,j)+Ctn(i,j)×h
t Cysum(i,j)=Cy(i,j)+Cyn(i,j)×h
y によって算出する。
ば、「1/2」や「1/4」とする。このように、第七
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第七の実施形態
は、このような類似度の算出に際し、第四の実施形態お
よび第五の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。 (第八の実施形態)図13は、第八の実施形態の類似度
の算出方法を説明する図である。
をRBで示し、補間処理の対象となる空格子点の座標を
(i,j)で示す。なお、第八の実施形態は、請求項
3、請求項7、請求項8および請求項9に記載の発明に
対応した実施形態に相当する。また、これらの請求項に
記載の発明と第八の実施形態との対応関係については、
縦類似度決定手順、横類似度決定手順、周辺縦類似度決
定手順、周辺横類似度決定手順および類似度決定手順
は、類似度算出部19で行われる処理に対応し、補間量
決定手順は、補間量算出部20で行われる処理に対応す
る。
9によって行われる縦方向の類似度Ctsum(i,j)お
よび横方向の類似度Cysum(i,j)の算出方法にあ
り、他の処理については、第一の実施形態と同様である
ため説明を省略する。類似度算出部19は、図11
(1)または図12(1)に示すように、縦類似度およ
び横類似度を算出すべき空格子点の座標を(i,j)と
した場合、その空格子点の色情報の大きさと、その空格
子点に隣接する格子点の色情報の大きさを用いて縦類似
度および横類似度を算出する(詳細は、上述した第六の
実施形態および第七の実施形態と同じ)。
ように、補間処理の対象となる空格子点に対し、斜め方
向に位置する空格子点の縦類似度および横類似度と、上
下左右方向に最近接する空格子点の縦類似度および横類
似度とを算出し、各縦類似度を加重加算して周辺縦類似
度Ctn(i,j)を算出すると共に、各横類似度を加重
加算して周辺横類似度Cyn(i,j)を算出する。
似度Ctn(i,j)および周辺横類似度Cyn(i,j)
を Ctn(i,j)=t1×Ct(i−1,j−1)+t2×C
t(i+1,j−1)+t3×Ct(i+1,j+1)+
t4×Ct(i−1,j+1)+t5×Ct(i,j−2)
+t6×Ct(i+2,j)+t7×Ct(i,j+2)+
t8×Ct(i−2,j) Cyn(i,j)=y1×Cy(i−1,j−1)+y2×C
y(i+1,j−1)+y3×Cy(i+1,j+1)+
y4×Cy(i−1,j+1)+y5×Ct(i,j−2)
+y6×Ct(i+2,j)+y7×Ct(i,j+2)+
y8×Ct(i−2,j) によって算出する。
も1つは「0」でなく、y1〜y8は定数であり、かつ少な
くとも1つは「0」でない。また、類似度算出部19
は、このように算出したCt(i,j)、Cy(i,
j)、Ctn(i,j)、Cyn(i,j)を用いて、縦方
向の類似度Ctsum(i,j)および横方向の類似度Cys
um(i,j)を Ctsum(i,j)=Ct(i,j)+Ctn(i,j)×h
t Cysum(i,j)=Cy(i,j)+Cyn(i,j)×h
y によって算出する。
ば、「1/2」や「1/4」とする。このように、第八
の実施形態では、補間処理の対象となる空格子点の縦方
向の類似度および横方向の類似度に、補間処理の対象と
なる空格子点および周辺に位置する空格子点の色情報の
大きさを反映することができる。特に、第八の実施形態
は、このような類似度の算出に際し、第六の実施形態お
よび第七の実施形態と比較して、広範囲に位置する空格
子点の色情報の大きさを用いることができる。
点の縦方向の類似度および横方向の類似度の信頼性を確
実に向上させることができるため、高い精度で補間処理
を行うことができる。なお、本実施形態では、周辺縦類
似度および周辺横類似度の算出に際し、補間処理の対象
となる空格子点に斜め方向に位置する空格子点と上下左
右方向に最近接する空格子点との縦類似度および横類似
度を用いているが、請求項3に記載の発明は、このよう
な空格子点に限定されず、補間処理の対象となる空格子
点の周辺に位置する空格子点であれば、如何なる範囲に
位置する空格子点の縦類似度および横類似度を用いても
よい。
は、補間処理の対象となる空格子点の縦方向の類似度お
よび横方向の類似度の決定に際し、該空格子点に隣接す
る格子点の色情報の大きさだけでなく、該空格子点の色
情報の大きさを用いる。また、請求項2に記載の発明で
は、補間処理の対象となる空格子点の縦方向の類似度お
よび横方向の類似度の決定に際し、該空格子点の色情報
の大きさと、該空格子点に対して斜め方向の少なくとも
一方に位置する空格子点の色情報の大きさと、補間処理
の対象となる空格子点および該空格子点に対して斜め方
向の少なくとも一方に位置する空格子点に隣接する格子
点の色情報とを用いる。
発明では、補間処理の対象となる空格子点の縦方向の類
似度および横方向の類似度の決定に際し、縦類似度およ
び横類似度と共に、周辺縦類似度および周辺横類似度を
用いる。したがって、請求項1ないし請求項7に記載の
発明によれば、補間処理の対象となる空格子点に隣接す
る格子点の色情報の大きさのみを用いて該空格子点の縦
方向の類似度および横方向の類似度を決定する場合と比
較して、該空格子点の縦方向の類似度および横方向の類
似度を高い精度で求めることができる。
明では、補間処理の対象となる空格子点の周辺部分の画
像の特徴を反映しつつ、該空格子点の縦方向の類似度お
よび横方向の類似度を決定できるため、画像の特徴が局
所的には現れない場合であっても、縦方向の類似度およ
び横方向の類似度の精度を確実に向上することができ
る。
方向の類似度または横方向の類似度の何れか一方が突出
している場合には、その方向に隣接する二つの格子点の
画素出力の平均値を空格子点の補間量とすることができ
る。したがって、空格子点の縦方向の類似度および横方
向の類似度を確実に反映しつつ、空格子点の補間量を決
定することができる。
は、空格子点の縦方向の類似度および横方向の類似度が
近似する場合であっても、各類似度を確実に反映しつ
つ、空格子点の補間量を算出することができる。したが
って、請求項1ないし請求項10に記載の発明によれ
ば、補間処理の対象となる空格子点の空間的な類似度を
的確に推定することによって、補間処理の信頼性を確実
に向上することができる。
有効であるが、自然画像のように異なる色同士の相関が
大きい場合には、無彩色に近い画像に限らず、カラー画
像であっても同様の効果が得られる。
である。
トである。
図である。
図である。
図である。
図である。
る図である。
る図である。
る図である。
る図である。
Claims (10)
- 【請求項1】 予め決められた色を出力する格子点と該
色を出力しない空格子点とが市松模様状に配された画像
の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
空格子点に対して縦方向の少なくとも一方に隣接する格
子点の色情報の大きさとを用いて、該空格子点の縦方向
の類似度を決定する縦方向類似度決定手順と、 補間処理の対象となる空格子点の色情報の大きさと、該
空格子点に対して横方向の少なくとも一方に隣接する格
子点の色情報の大きさとを用いて、該空格子点の横方向
の類似度を決定する横方向類似度決定手順と、 前記縦方向の類似度および前記横方向の類似度に応じて
補間処理の対象となる空格子点に対して類似性が強い方
向に隣接する格子点の色情報の大きさを選択、もしくは
該空格子点に対して縦方向および横方向に位置する格子
点の色情報の大きさを該類似度に応じて加重加算するこ
とによって、該空格子点の補間量を決定する補間量決定
手順とを備えたことを特徴とする補間処理方法。 - 【請求項2】 予め決められた色を出力する格子点と該
色を出力しない空格子点とが市松模様状に配された画像
の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
空格子点に対して斜め方向の少なくとも一方に位置する
空格子点の色情報の大きさと、補間処理の対象となる空
格子点および該空格子点に対して斜め方向の少なくとも
一方に位置する空格子点に隣接する格子点の色情報とを
用いて、補間処理の対象となる空格子点の縦方向の類似
度および横方向の類似度を決定する類似度決定手順と、 前記縦方向の類似度および前記横方向の類似度に応じて
補間処理の対象となる空格子点に対して類似性が強い方
向に隣接する格子点の色情報の大きさを選択、もしくは
該空格子点に対して縦方向および横方向に位置する格子
点の色情報の大きさを該類似度に応じて加重加算するこ
とによって、該空格子点の補間量を決定する補間量決定
手順とを備えたことを特徴とする補間処理方法。 - 【請求項3】 予め決められた色を出力する格子点と該
色を出力しない空格子点とが市松模様状に配された画像
の補間処理方法において、 補間処理の対象となる空格子点の色情報の大きさと、該
空格子点に対して縦方向の少なくとも一方に隣接する格
子点の色情報の大きさとを用いて、該空格子点と当該格
子点との類似度を示す縦類似度を決定する縦類似度決定
手順と、 補間処理の対象となる空格子点の色情報の大きさと、該
空格子点に対して横方向の少なくとも一方に隣接する格
子点の色情報の大きさとを用いて、該空格子点と当該格
子点との類似度を示す横類似度を決定する横類似度決定
手順と、 補間処理の対象となる空格子点の周辺に位置する格子点
の色情報の大きさと、該空格子点の周辺に位置する空格
子点の色情報の大きさとを用いて、周辺に位置する空格
子点の縦方向の類似度を示す周辺縦類似度を決定する周
辺縦類似度決定手順と、 補間処理の対象となる空格子点の周辺に位置する格子点
の色情報の大きさと、該空格子点の周辺に位置する空格
子点の色情報の大きさとを用いて、周辺に位置する空格
子点の横方向の類似度を示す周辺横類似度を決定する周
辺横類似度決定手順と、 前記縦類似度および前記周辺縦類似度に基づき、補間処
理の対象となる空格子点の縦方向の類似度を決定すると
共に、前記横類似度および前記周辺横類似度に基づき、
該空格子点の横方向の類似度を決定する類似度決定手順
と、 前記縦方向の類似度および前記横方向の類似度に応じて
補間処理の対象となる空格子点に対して類似性が強い方
向に隣接する格子点の色情報の大きさを選択、もしくは
該空格子点に対して縦方向および横方向に位置する格子
点の色情報の大きさを該類似度に応じて加重加算するこ
とによって、該空格子点の補間量を決定する補間量決定
手順とを備えたことを特徴とする補間処理方法。 - 【請求項4】 請求項3に記載の補間処理方法におい
て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
とも一方に隣接する格子点の色情報の大きさと、当該格
子点に対して補間処理の対象となる空格子点とは反対方
向に隣接する空格子点の色情報の大きさとを用いて周辺
横類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
とも一方に隣接する格子点の色情報の大きさと、当該格
子点に対して補間処理の対象となる空格子点とは反対方
向に隣接する空格子点の色情報の大きさとを用いて周辺
横類似度を決定することを特徴とする補間処理方法。 - 【請求項5】 請求項3に記載の補間処理方法におい
て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して横方向の少なく
とも一方に隣接する格子点の色情報の大きさと、当該格
子点に対して縦方向の少なくとも一方に隣接する空格子
点の色情報の大きさとを用いて周辺縦類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して縦方向の少なく
とも一方に隣接する格子点の色情報の大きさと、当該格
子点に対して横方向の少なくとも一方に隣接する空格子
点の色情報の大きさとを用いて周辺横類似度を決定する
ことを特徴とする補間処理方法。 - 【請求項6】 請求項3に記載の補間処理方法におい
て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して斜め方向の少な
くとも一方に位置する空格子点の色情報の大きさと、斜
め方向に位置する空格子点に対して縦方向の少なくとも
一方に隣接する格子点の色情報の大きさとを用いて周辺
縦類似度を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して斜め方向の少な
くとも一方に位置する空格子点の色情報の大きさと、斜
め方向に位置する空格子点に対して横方向の少なくとも
一方に隣接する格子点の色情報の大きさとを用いて周辺
縦類似度を決定することを特徴とする補間処理方法。 - 【請求項7】 請求項3に記載の補間処理方法におい
て、 前記周辺縦類似度決定手順は、 補間処理の対象となる空格子点に対して上下左右方向と
斜め方向とを含む8方向の少なくとも一方に位置する空
格子点の色情報の大きさと、8方向の少なくとも一方に
位置する空格子点に対して縦方向の少なくとも一方に隣
接する格子点の色情報の大きさとを用いて周辺縦類似度
を決定し、 前記周辺横類似度決定手順は、 補間処理の対象となる空格子点に対して上下左右方向と
斜め方向とを含む8方向の少なくとも一方に位置する空
格子点の色情報の大きさと、8方向の少なくとも一方に
位置する空格子点に対して横方向の少なくとも一方に隣
接する格子点の色情報の大きさとを用いて周辺縦類似度
を決定することを特徴とする補間処理方法。 - 【請求項8】 請求項1ないし請求項7の何れか1項に
記載の補間処理方法において、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度につい
て、何れか一方の類似度が突出する場合、その類似度を
示す方向に隣接する2つの格子点の色情報の大きさの平
均値を補間量とし、双方の類似度が近似する場合、該平
均値を算出する以外の方法で補間量を決定することを特
徴とする補間処理方法。 - 【請求項9】 請求項8に記載の補間処理方法におい
て、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度が近似す
る場合、各類似度に対応する重み係数に基づいて該空格
子点の補間量を決定することを特徴とする補間処理方
法。 - 【請求項10】 請求項8に記載の補間処理方法におい
て、 前記補間量決定手順は、 前記縦方向の類似度および前記横方向の類似度が近似す
る場合、補間処理の対象となる空格子点に隣接する4つ
の格子点の色情報の大きさのメディアンによって該空格
子点の補間量を決定することを特徴とする補間処理方
法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07045498A JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07045498A JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11275373A true JPH11275373A (ja) | 1999-10-08 |
JP4038867B2 JP4038867B2 (ja) | 2008-01-30 |
Family
ID=13431983
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07045498A Expired - Lifetime JP4038867B2 (ja) | 1998-03-19 | 1998-03-19 | 補間処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4038867B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001320720A (ja) * | 2000-05-12 | 2001-11-16 | Canon Inc | 信号処理方法及び信号処理装置 |
JP2002010279A (ja) * | 2000-06-21 | 2002-01-11 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
EP1289310A2 (en) * | 2001-08-27 | 2003-03-05 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
WO2008001629A1 (fr) * | 2006-06-29 | 2008-01-03 | Olympus Corporation | dispositif de traitement d'image, programme de traitement d'image et procédé de traitement d'image |
JP2008022426A (ja) * | 2006-07-14 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
JP2008530863A (ja) * | 2005-02-04 | 2008-08-07 | クゥアルコム・インコーポレイテッド | 適応型色彩補間 |
WO2009022541A1 (ja) * | 2007-08-10 | 2009-02-19 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理方法 |
WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
JP2013042345A (ja) * | 2011-08-15 | 2013-02-28 | Ricoh Co Ltd | 画像補正システム、画像補正方法およびプログラム |
JP2013509093A (ja) * | 2009-10-20 | 2013-03-07 | アップル インコーポレイテッド | 重み付け勾配を利用した画像データのデモザイク処理のためのシステム及び方法 |
-
1998
- 1998-03-19 JP JP07045498A patent/JP4038867B2/ja not_active Expired - Lifetime
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
JP4702912B2 (ja) * | 2000-05-12 | 2011-06-15 | キヤノン株式会社 | 信号処理方法及び信号処理装置 |
JP2001320720A (ja) * | 2000-05-12 | 2001-11-16 | Canon Inc | 信号処理方法及び信号処理装置 |
JP4581191B2 (ja) * | 2000-06-21 | 2010-11-17 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2002010279A (ja) * | 2000-06-21 | 2002-01-11 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
EP1289310A3 (en) * | 2001-08-27 | 2005-12-07 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
US7088392B2 (en) | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
EP1289310A2 (en) * | 2001-08-27 | 2003-03-05 | Agilent Technologies, Inc. | Method and system for adaptive demosaicing |
JP2008530863A (ja) * | 2005-02-04 | 2008-08-07 | クゥアルコム・インコーポレイテッド | 適応型色彩補間 |
JP2012075138A (ja) * | 2005-02-04 | 2012-04-12 | Qualcomm Inc | 適応型色彩補間 |
WO2008001629A1 (fr) * | 2006-06-29 | 2008-01-03 | Olympus Corporation | dispositif de traitement d'image, programme de traitement d'image et procédé de traitement d'image |
JP2008035470A (ja) * | 2006-06-29 | 2008-02-14 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法 |
US8018501B2 (en) | 2006-06-29 | 2011-09-13 | Olympus Corporation | Image processing apparatus, computer-readable recording medium recording image processing program, and image processing method |
JP2008022426A (ja) * | 2006-07-14 | 2008-01-31 | Matsushita Electric Ind Co Ltd | 画像処理装置および画像処理方法 |
WO2009022541A1 (ja) * | 2007-08-10 | 2009-02-19 | Olympus Corporation | 画像処理装置、画像処理プログラム、画像処理方法 |
JP2013509093A (ja) * | 2009-10-20 | 2013-03-07 | アップル インコーポレイテッド | 重み付け勾配を利用した画像データのデモザイク処理のためのシステム及び方法 |
WO2011089869A1 (ja) * | 2010-01-20 | 2011-07-28 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
US8466993B2 (en) | 2010-01-20 | 2013-06-18 | Canon Kabushiki Kaisha | Image sensing using solid-state image sensing elements |
JP2013042345A (ja) * | 2011-08-15 | 2013-02-28 | Ricoh Co Ltd | 画像補正システム、画像補正方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4038867B2 (ja) | 2008-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8340407B2 (en) | System and method for image demosaicing | |
US5805217A (en) | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor | |
US11244209B2 (en) | Image processing device, imaging device, and image processing method | |
JP4815807B2 (ja) | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
JP5918915B2 (ja) | カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス | |
JP4045645B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP2009524989A (ja) | パンクロマチック画素及びカラー画素の補間 | |
US7301573B2 (en) | Apparatus for and method of edge enhancement in image processing | |
US20140184853A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JPH11275373A (ja) | 補間処理方法 | |
JP4329542B2 (ja) | 画素の類似度判定を行う画像処理装置、および画像処理プログラム | |
JP2010016814A (ja) | 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体 | |
JP4292625B2 (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP2002232904A (ja) | 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体 | |
JP2000188762A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP5706705B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP2000069492A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JP4940086B2 (ja) | 色処理装置およびその方法 | |
CN115829849A (zh) | 基于G分量引导图的Bayer图像的处理方法、装置和设备 | |
JP2002010279A (ja) | 補間処理装置および補間処理プログラムを記録した記録媒体 | |
JPH11136692A (ja) | 補間装置 | |
KR100996797B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 | |
JP2002152762A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
JPH11103465A (ja) | 補間装置および補間処理プログラムを記録した記録媒体 | |
JP5159647B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131116 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |