JP4885179B2 - 映像歪曲補正方法及びその補正方法を採用した映像処理装置 - Google Patents

映像歪曲補正方法及びその補正方法を採用した映像処理装置 Download PDF

Info

Publication number
JP4885179B2
JP4885179B2 JP2008209938A JP2008209938A JP4885179B2 JP 4885179 B2 JP4885179 B2 JP 4885179B2 JP 2008209938 A JP2008209938 A JP 2008209938A JP 2008209938 A JP2008209938 A JP 2008209938A JP 4885179 B2 JP4885179 B2 JP 4885179B2
Authority
JP
Japan
Prior art keywords
distortion
image
coefficient
curve
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008209938A
Other languages
English (en)
Other versions
JP2009064427A (ja
Inventor
ジン クォン,ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Core Logic Inc
Original Assignee
Core Logic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Core Logic Inc filed Critical Core Logic Inc
Publication of JP2009064427A publication Critical patent/JP2009064427A/ja
Application granted granted Critical
Publication of JP4885179B2 publication Critical patent/JP4885179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/16Picture reproducers using cathode ray tubes
    • H04N9/28Arrangements for convergence or focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22Circuits for controlling dimensions, shape or centering of picture on screen
    • H04N3/23Distortion correction, e.g. for pincushion distortion correction, S-correction

Description

関連特許出願の相互参照
本出願は、韓国特許庁に2007年8月27日に提出された大韓民国特許出願第10−2007−0086274号の利益を主張し、その開示は全体として本明細書中に参照として組み込まれる。
発明の分野
本発明は、映像処理方法及び装置に係り、特に、映像歪曲を補正する方法及びその方法を採用した映像処理装置に関する。
関連技術の説明
カメラは、広い範囲に渡って産業的利用がなされており、その用途はますます増大している。例えば、組立ラインのロボットのモニタリング、製品の品質検査、医療診断、保安、及び映像システムを使用することによって取り込まれる映像の認識などの多くの自動的な工業用途において、人間の目に代わって、カメラは利用される。
一般的に、高解像度の映像を得る必要がある場合には、狭角レンズがカメラの前に設置され、広い領域を撮影する必要がある場合には、広角レンズがカメラの前に設置される。広角レンズは、広い画角を許容有するが、レンズの中心部から外側部(outer portions)に向かって分解能が低下するという欠点を有する。
また、広角レンズは、レンズの中心部から外側部に向かって放射歪曲(radial distortion)が増加するという欠点を有する。かかる放射歪曲は、分解能低下の主要な原因である。
図1A及び図1Bは、広角レンズによって放射歪曲が発生しているパターン映像及びウェブ映像(web image)をそれぞれ示す写真である。上述したように、レンズの中心部から外側部に向かって分解能が減少し、放射歪曲は増加する。
レンズ歪曲を補正する方式は、メトリック方式と非メトリック方式とに分けられる。メトリック方式は、レンズ歪曲に影響を及ぼす可能性のあるカメラモデルの内部及び外部変数を利用して映像の歪曲を補正する。内部及び外部変数は、基準点に基づいて測定される。非メトリック方式は、基準点に依存せず、現場の直線は常に映像に直線を与えなければならないという事実に依存する。非メトリック方式は、レンズ歪曲に起因する曲線を直線に調節することによって歪曲を補正する。
メトリック方式では、より多くの基準点を利用することが、歪曲係数(distortion coefficients)の精度を上げる可能性がある。したがって、メトリック方式は、基準点の抽出において複数のパターン映像を必要とする。また、内部及び外部変数が得られるときに発生する深刻な測定エラーを引き起こす可能性がある。
非メトリック方式では、いかなる基準点も用いることなく、単一の映像を用いることによって歪曲係数が得られる。しかしながら、非メトリック方式では、直線成分を含む物体を映像が含む場合のみ歪曲係数が測定される。また、非メトリック方式における自動歪曲補正アルゴリズムは、ノイズに対して非常に敏感である。
発明の概要
本発明は、従来のレンズ歪曲補正方法の欠点を克服し、映像の外側部での映像品質の劣化(image quality degradation)を低減することができる映像歪曲補正装置及び方法を提供する。
本発明の一の側面によれば、広角レンズから映像を受像すること、映像の歪曲に対する歪曲係数を抽出すること、前記抽出された歪曲係数を利用して、前記映像の歪曲を補正すること、及び補正された映像を表示することを含む映像歪曲補正方法が提供される。
前記歪曲係数を抽出することは、レンズ歪曲モデル(lens distortion model)を利用して、所定の範囲(predefined range)内で、最適な歪曲係数を手動で得ることを含み得る。前記映像の歪曲を補正することは、前記抽出された歪曲係数を利用して、逆方向マッピング(backward mapping)を適用することを含み得る。前記レンズ歪曲モデルは、方程式
=R(1+kR )、0<k≦(a−1)/R DM
で記載され得る。ここで、Rは、補正された映像の座標系の所定の点から原点(origin)までの距離でありRは、歪曲映像の座標系の所定の点から原点までの距離であり、kは、0よりも大きく、RDMの二乗によって割られた(a−1)よりも小さいか等しい。ここで、RDMは、歪曲映像の座標系の原点から最も外側の点までの最大距離であり、aは、2以上の定数である。
前記映像の歪曲を補正することは、双線形補間(bilinear interpolation)を利用してのこぎり状エッジアーチファクト(jagged−edge artifacts)を除去することを含み得る。また、前記映像の歪曲を補正することは、前記補正された映像の外側部でのブラーリング(blurring)を最小化するために外側部で曲線を調節することを含み得る。
前記外側部における曲線調節は、R−Rグラフnにおける変曲点に基づいた複数の点を選択すること、及び前記選択された複数の点に基づく前記曲線を調節することを含み得る。
本発明の他の側面によれば、映像を受像する広角レンズと、前記広角レンズによって映像に引き起こされる歪曲の歪曲係数を抽出する歪曲係数抽出部、及び前記抽出された歪曲係数を利用して、前記映像の歪曲を補正する歪曲補正部を備えた映像処理部と、前記補正された映像を表示するディスプレイ部と、を備える映像処理装置が提供される。
前記広角レンズは、120°以下の視野角(viewing angle)を有する魚眼レンズを含み得る。前記歪曲係数抽出部は、レンズ歪曲モデルを利用して所定の範囲内で、手作業により最適な歪曲係数を取得し得る。
前記歪曲補正部は、前記歪曲係数を利用して逆方向マッピングを通じて、前記広角レンズに起因する放射歪曲を補正し得る。前記歪曲補正部は、前記放射歪曲の補正に起因するのこぎり状エッジアーチファクトを、双線形補間を利用して除去し得る。
前記映像処理部は、前記補正された映像の外側部におけるブラーリングを最小化するために外側部で曲線を調節する曲線調節(curve fitting)部をさらに備え得る。前記曲線調節部は、R−Rグラフにおける変曲点に基づく複数の点を選択し、3次方程式を利用して外側部で曲線を調節し得る。
図面の簡単な説明
本発明の特徴及び利点は、下記の本発明の典型的な実施形態の詳細な説明でより明確になりであろう。本発明は添付の図面を参照して説明される。
図1A及び図1Bは、広角レンズによって放射歪曲が引き起こされるパターン映像及びウェブ映像をそれぞれ示す写真である。
図2A及び図2Bは、広角レンズに起因する放射歪曲を説明するための平面座標系である。
図3は、本発明の一実施形態による映像歪曲補正方法を利用した映像処理装置のブロック構成図である。
図4は、歪曲映像の補正に利用される放射歪曲曲線のグラフである。
図5は、図4の放射歪曲曲線の調節方法を説明するためのグラフである。
図6A及び図6Bは、図3の方法を利用して歪曲が補正された後の図1A及び図1Bに示されるパターン映像及びウェブ映像の写真である。
図7は、図5の方法をより詳細に説明するためのグラフである。
図8A〜図8Eは、歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。
図9は、本発明の他の実施形態による映像歪曲補正方法を示すフローチャートである。
発明の詳細な説明
以下、発明の典型的な実施形態が示される添付の図面を参照して、本発明が詳細に説明される。当然のことながら、ある構成要素が他の構成要素に連結されると記述される場合、これらの構成要素は直接的に連結されてもよく、2つの構成要素の間に介在構成要素が存在してもよい。本発明の下記の説明において、本発明のより良い理解のために、図面において示される各構成要素のサイズは、必要に応じて誇張され、ある構成要素は図面から省略されている。図面を通じて、同じ符号は同じ構成要素を示す。使われる用語は、典型的な実施形態を描写することを目的とされ、対象とする特許請求の範囲を制限するものとして解釈されてはならない。
図2A及び図2Bは、広角レンズに起因する放射歪曲を示す平面座標系である。図2Aは、補正された映像の座標系を図解する。図2Bは、広角レンズに起因する放射歪曲を備えた映像の座標系を図解する。
図2A及び図2Bを参照すれば、広角レンズに起因する放射歪曲は、原点から離れるほど大きくなり、中心原点から離れるほど、被写体のサイズは大きくなり、曲線の角度が大きくなる。図2A及び図2Bで、Rは、補正された映像の座標系における所定の点から原点までの距離であり、Rは、放射歪曲を伴う映像の座標系における所定の点から心から原点までの距離である。
図3は、本発明の一実施形態による映像歪曲補正方法を用いた映像処理装置のブロック図である。
図3を参照すれば、装置は、広角レンズ100、映像処理部200、及びディスプレイ部300を備える。広角レンズ100は、120°以下の視野角、さらに正確には、60〜120°の視野角を有する魚眼レンズでありうる。ディスプレイ部300は、映像処理部200によって処理された映像を表示し、液晶ディスプレイ(LCD)モニタ、又は陰極線管(CRT)モニタでありうる。
映像処理部200は、広角レンズ100を通じて受信された映像を処理し、広角レンズ100により発生される放射歪曲を補正するために、歪曲係数抽出部220、歪曲補正部240、及び曲線調節部260を備える。広角レンズ100を通じて受像された映像は、イメージセンサによって電気信号イメージとして捕捉される。映像処理部200は、電気信号イメージを補正する。図示されていないが、映像処理部200は、補正された電気信号イメージをイメージファイルに変換するマルチメディアプロセッサ及びイメージファイルを蓄積するメモリを含んでいてもよい。
歪曲係数抽出部220は、広角レンズ100により映像に発生する歪曲の歪曲係数を抽出する。歪曲補正部240は、抽出された歪曲係数を利用して、逆方向マッピングを通じて映像を補正する。
具体的に言えば、映像に作られた放射歪曲を補正するために、ワーピング方程式(warping equation)またはレンズ歪曲モデルを利用して歪曲係数は抽出され、抽出された歪曲係数を利用して映像ワーピングにより歪曲は補正される。映像ワーピングは、前方向マッピング(forward mapping)と逆方向マッピングとに分類される。前方向マッピングは、歪曲映像の画素に対応する補正映像の画素が歪曲映像から直接的に計算されるという利点を有するが、補正画像の画素を計算するために整数計算(integer calculations)が実行されるため、補正映像にいくつかのホールが生成されるかもしれないという欠点を有する。
前方向マッピングと異なって、逆方向マッピングは、補正映像の座標を利用して歪曲映像の座標が計算されるので、ホールを生成しない。
図3の歪曲係数抽出部220は、歪曲係数を得るためのレンズ歪曲モデルとして下記の式1を利用する。
=R(1+kR ),0<k≦(a−1)/R DM (1)
ここで、Rは、補正映像の座標系の所定の点から原点までの距離であり、Rは、歪曲映像の座標系の所定の点から原点までの距離であり、RDMは、歪曲映像の座標系の原点から最外部の点までの最大距離であり、kは、歪曲係数であり、aは、2以上の定数である。
レンズ歪曲モデルによれば、既存方法が直面しているノイズに起因するエラーを除去するために、自動推定を用いることなく、最適な歪曲係数は、所定の測定範囲内で手作業により測定される。すなわち、広角レンズを通じて入力される映像を人間の目によって認識される映像と同じようにする、所定の範囲内における最適な歪曲係数は、手作業により得られる。
高められた精度のために、レンズ歪曲モデルは、複数の歪曲係数を含む高次項を用いることができる。しかしながら、歪曲係数の数の増加は、歪曲係数の測定の間に引き起こされるエラーを増加させ、それ故、後の数値計算のエラーを増加させる。したがって、放射歪曲は一の歪曲係数のみで十分にモデル化されるため、図3の装置は、一の歪曲係数のみを利用する。数式1に示されるように、図3の装置によって使用されるレンズ歪曲モデルは、一の歪曲係数のみを含む。
本発明は、歪曲は放射歪曲であると仮定するので、最適な歪曲係数は、正数となり、最大値は、距離RDM及び定数aにより決定される。したがって、最適な歪曲係数は、所定の範囲内で式1にしたがって手動で抽出されうる。
歪曲係数抽出部220によって最適の歪曲係数が抽出されるとすぐに、歪曲補正部240は、抽出された歪曲係数を利用して逆方向マッピングを通じて映像を補正する。逆方向マッピングは、前方向マッピングの欠点を克服する(すなわち、補正映像のホールを取り除く)ことができるけれども、逆方向マッピングは欠陥、すなわち、映像の直線成分におけるのこぎり状エッジアーチファクトを残す。したがって、図3の歪曲補正部240は、のこぎり状エッジアーチファクトを除去するために、4個の最隣接ピクセルの加重和を利用する双線形補間を実行する。
曲線調節部260は、歪曲補正部240によって補正された映像の外側部の映像品質の劣化を低減する。補正映像のサイズは視野角の増加に伴って増加するため、歪曲補正部240によって補正された映像は、歪曲映像、すなわち元の映像よりもサイズが大きい。また、放射歪曲は、一般的に、映像の原点から外側部に向かって増加するので、映像の外側部での映像品質の劣化(例えば、ブラーリング)が顕著になる。したがって、曲線調節部260は、式1したがうRとRとの間の関係に基づく放射歪曲曲線を利用して、そのような映像品質の劣化を低減する。放射歪曲曲線の利用は、図4を参照して詳細に説明される。
図4は、RとRとの間の関係を示す放射歪曲曲線のグラフである。放射歪曲曲線は、歪曲映像を補正するために利用される。
図4を参照すれば、実線は、式1による放射歪曲曲線であって、補正映像の座標系における所定の点から原点までの距離Rが増加するにつれて急勾配になる。点線は、最良補正映像または実際の映像の線であって、距離R及びRが互いに正比例することを示す。したがって、図示された放射歪曲曲線を利用して歪曲映像を補正する場合、補正映像の外側部での映像品質の劣化は避けられない。
図5は、図4の放射歪曲曲線を当てはめる理方法を説明するためのグラフである。
図5を参照すれば、外側部での映像品質の劣化を低減するために、放射歪曲曲線の外側部が調節される。図5において、実線は、元の放射歪曲曲線であり、点線は、調節された放射歪曲曲線である。放射歪曲曲線は、元の放射歪曲曲線の変曲点に基づく複数の点を選択し、それから、適切な3次方程式を利用して変曲点から放射歪曲曲線を調節することによって適合される。
図6A及び図6Bは、図3の方法を用いて歪曲が補正された図1A及び図1Bに示されるパターン映像及びウェブ映像に対応するパターン映像及びウェブ映像を示す写真である。
ように、図3の装置は、広角レンズによって放射歪曲が発生している図1A及び図1Bのパターン映像及びウェブ映像を、図6A及び図6Bに示されるような歪曲が除去されたパターン映像及びウェブ映像に補正することができる。
図7は、複数の放射歪曲曲線を利用する図5の方法を説明するグラフである。
図7を参照すれば、3次方程式の変更は、図5の放射歪曲曲線よりも良く当てはまる放射歪曲曲線を生み出す可能性がある。実線上の点は、選択された変曲点である。線1は、元の放射歪曲曲線であり、線2〜及線4は、それぞれ3次方程式2、3、及び4を利用して調節された放射歪曲曲線である。
=(1.0×10−9)×R −0.000248×R +0.555×R+79 (2)
=(−1.0×10−20)×R −(7.8×10−5)×R +0.43×R+105 (3)
=(−1.37×10−6)×R +0.00367×R −2.16×R+634 (4)
図8A〜図8Eは、歪曲映像及び図7の方程式を用いる方法によって補正された映像を示す写真である。図8Aは、広角レンズにより歪曲が発生しているウェブ映像の写真である。図8Bは、図7の元の放射歪曲曲線1を利用して補正されたウェブ映像の写真である。図8Cは、図7の調節された放射歪曲曲線2を利用して補正されたウェブ映像の写真である。図8Dは、図7の調節された放射歪曲曲線3を利用して補正されたウェブ映像の写真である。図8Eは、図7の調節された放射歪曲曲線4を利用して補正されたウェブ映像の写真である。
図7の方法によって、映像の外側部の映像品質は改善される。補正された形状を比較すると、に比べて、図8Cのウェブ映像の品質は図8Bのウェブ映像の品質よりも良い。一方、図8Dのウェブ映像の品質は図8Cのウェブ映像の品質よりも良いけれども、図8Dのウェブ映像では、いくらかの歪曲が再び発生している。
したがって図3の装置は、人間の目によって認識される映像とほとんど同じ最適な映像に映像を補正する。装置は、適切な3次方程式を選択して、3次方程式にしたがって放射歪曲曲線を調節することによって、外側部のブラーリングを取り除く。
図9は、本発明の他の実施形態による映像歪曲補正方法を示すフローチャートである。
図9を参照すれば、工程S100では、広角レンズから映像が受信される。上述したように、広角レンズから映像が受信される場合、映像歪曲、例えば放射歪曲が広角レンズによって引き起こされる。工程S200では、映像の放射歪曲を補正するために、歪曲係数が抽出される。広角レンズを通じて入射される映像を人間の目によって認識される映像とほとんど同じようにする最適な歪曲係数は、歪曲係数が所定の範囲内に入る適切な歪曲係数モデルを利用して手動で抽出される。式1は、歪曲係数モデルの例である。
工程S300では、逆方向マッピングによって映像の歪曲が補正される。逆方向マッピングによって生成される、のこぎり状エッジアーチファクトは、双線形補間によって除去される。
工程S400では、補正映像の外側部のブラーリングが除去される。ブラーリングは、曲線適合、例えば、変曲点に基づく複数の点を選択し、適切な三次方程式を利用して曲線を調節することによって除去される。
工程S500では、マルチメディアプロセッサによって補正された映像がイメージファイルに変換され、ディスプレイ部に表示される。
所定の範囲内で最適な歪曲係数を手動的に抽出し、抽出された最適な歪曲係数を利用して逆方向マッピングを実行し、双線形補間を利用してのこぎり状エッジアーチファクトを除去し、そして、曲線適合を利用して外側部分のブラーリングを除去する図9の歪曲補正方法を利用して、広角レンズに起因する歪曲を有する映像は、人間の目によって認識される映像とほとんど同じ最適な映像に補正される。
上述したように、本発明による映像歪曲補正方法及びその方法を実施するための装置は、広角レンズによって引き起こされる歪曲を補正するために、単一のパターン映像または複数のパターン映像を必要としない。すなわち、歪曲係数は手動で抽出されるので、本発明による方法および装置は、従来の方法および装置とは異なって、対応点(corresponding points)を抽出のためのいかなるパターン映像も必要としない。
また、本発明による方法は、双線形補間を利用してのこぎり状エッジアーチファクトを除去し、曲線適合を利用して外側部のブラーリングを除去するので、方法は、人間の目によって認識される映像とほとんど同じ最適な映像に映像を補正することができる。
さらに、本発明による方法を利用した装置は、魚眼レンズまたは120°の視野角を有するレンズによって引き起こされる歪曲を適切に補正して、人間の目によって認識される映像とほとんど同じ映像にすることができる。
本発明は、特に、その典型的な実施形態を参照して表現され、かつ説明されたが、当業者であれば、以下の特許請求の範囲によって明確にされる本発明の精神および範囲から逸脱することなく形態および細部における様々な変更がなされることは理解できるであろう。
広角レンズによって放射歪曲が引き起こされるパターン映像を示す写真である。 広角レンズによって放射歪曲が引き起こされるウェブ映像を示す写真である。 広角レンズに起因する放射歪曲を説明するための座標平面図である。 広角レンズに起因する放射歪曲を説明するための座標平面図である。 本発明の一実施形態による映像歪曲補正方法を利用した映像処理装置のブロック構成図である。 歪曲映像の補正に利用される放射歪曲曲線のグラフである。 図4の放射歪曲曲線の調節方法を説明するためのグラフである。 図3の方法を利用して歪曲が補正された後の図1Aに示されるパターン映像の写真である。 図3の方法を利用して歪曲が補正された後の図1Bに示されるウェブ映像の写真である。 図5の方法をより詳細に説明するためのグラフである。 歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。 歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。 歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。 歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。 歪曲映像及び図7の歪曲曲線調節方法によって得られた補正映像を示す写真である。 本発明の他の実施形態による映像歪曲補正方法を示すフローチャートである。

Claims (14)

  1. 広角レンズから映像を受像すること、
    前記広角レンズに起因する歪曲映像のための歪曲係数を抽出すること、
    前記抽出された歪曲係数を利用して、前記映像の歪曲を補正すること、及び
    補正された映像を表示すること、
    を含み、
    前記歪曲を補正するステップは、前記補正された映像の外側部でのブラーリングを低減するために、外側部で曲線を調節することを含み、
    前記外側部での曲線の調節は、R −R グラフにおける変曲点に基づいた複数の点を利用して前記曲線を調節することで成し、
    前記R 及びR は補正された映像及び歪曲映像の中心からの座標距離であること、
    を特徴とする、
    映像歪曲補正方法。
  2. 前記広角レンズは、120°以下の視野角を有する魚眼レンズを含む、請求項1に記載の方法。
  3. 前記歪曲係数を抽出するステップは、レンズ歪曲モデルを利用して、所定の範囲内で、前記歪曲係数を手動で取得することを含む、請求項1に記載の方法。
  4. 前記歪曲を補正するステップは、前記抽出された歪曲係数を利用して、逆方向マッピングを通じて前記映像の歪曲を補正することを含む、請求項3に記載の方法。
  5. 前記レンズ歪曲モデルは、以下のように与えられ、
    前記補正された映像の座標系の所定の点から原点までの距離RCが、前記歪曲映像の座標系の所定の点から原点までの距離RDにRDの3乗を加えた値と等しく、
    RDの3乗の係数は、歪曲係数kであり、前記歪曲係数kは、0よりも大きく、かつRDMの2乗で割られた(a−1)よりも小さいか等しく、
    RDMは、歪曲映像の座標系の原点から前記映像の最も外側の点までの最大距離であり、aは、2以上の定数である、請求項3に記載の方法。
  6. 前記歪曲を補正するステップは、前記抽出された歪曲係数を利用して、放射歪曲を補正することを含む、請求項5に記載の方法。
  7. 前記歪曲を補正するステップは、双線形補間を利用して、のこぎり状エッジアーチファクトを除去することを含む、請求項6に記載の方法。
  8. 前記外側部での曲線の調節は、3次方程式を利用して実行される、請求項に記載の方法。
  9. 映像を受像する広角レンズと、
    前記広角レンズによって映像に引き起こされる歪曲の歪曲係数を抽出する歪曲係数抽出部、及び前記抽出された歪曲係数を利用して前記映像の歪曲を補正する歪曲補正部を含む映像処理部と、
    補正された映像を表示するディスプレイ部と、
    を備え、
    前記映像処理部は、前記歪曲補正部で補正された映像の外側部でのブラーリングを低減するために、外側部で曲線を調節する曲線調節部を含み、
    前記曲線調節部は、R −R グラフにおける変曲点に基づいた複数の点を選択し、前記選択された複数の点を利用して前記曲線を調節することで、前記外側部での曲線を調節し、
    前記R 及びR は補正された映像及び歪曲映像の中心からの座標距離であること、
    を特徴とする、映像処理装置。
  10. 前記広角レンズは、120°以下の視野角を有する魚眼レンズを含む、請求項に記載の装置。
  11. 前記歪曲係数抽出部は、レンズ歪曲モデルを利用して、所定の範囲内で前記歪曲係数を手動で取得する、請求項に記載の装置。
  12. 前記レンズ歪曲モデルは、以下のように与えられ、
    補正された映像の座標系の所定の点から原点までの距離RCが、歪曲映像の座標系の所定の点から原点までの距離RDにRDの3乗を加えた値と等しく、
    RDの3乗の係数は、歪曲係数kであり、前記歪曲係数kは、0よりも大きく、RDMの2乗で割られた(a−1)よりも小さいか等しく、
    RDMは、歪曲映像の座標系の原点から前記映像の最も外側の点までの最大距離であり、aは、2以上の定数である、請求項11に記載の装置。
  13. 前記歪曲補正部は、前記歪曲係数を利用して、逆方向マッピングを通じて前記広角レンズに起因する放射歪曲を補正する、請求項12に記載の装置。
  14. 前記歪曲補正部は、双線形補間を利用して、のこぎり状エッジアーチファクトを除去する、請求項13に記載の装置。
JP2008209938A 2007-08-27 2008-08-18 映像歪曲補正方法及びその補正方法を採用した映像処理装置 Expired - Fee Related JP4885179B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020070086274A KR101014572B1 (ko) 2007-08-27 2007-08-27 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
KR10-2007-0086274 2007-08-27

Publications (2)

Publication Number Publication Date
JP2009064427A JP2009064427A (ja) 2009-03-26
JP4885179B2 true JP4885179B2 (ja) 2012-02-29

Family

ID=40202921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008209938A Expired - Fee Related JP4885179B2 (ja) 2007-08-27 2008-08-18 映像歪曲補正方法及びその補正方法を採用した映像処理装置

Country Status (5)

Country Link
US (1) US8000559B2 (ja)
EP (1) EP2031861A3 (ja)
JP (1) JP4885179B2 (ja)
KR (1) KR101014572B1 (ja)
CN (1) CN101448065B (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961973B2 (en) * 2004-09-02 2011-06-14 Qualcomm Incorporated Lens roll-off correction method and apparatus
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8199243B2 (en) * 2008-04-28 2012-06-12 Panasonic Corporation Imaging device and camera body
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US8270754B2 (en) * 2009-06-22 2012-09-18 Qualcomm Incorporated Lens roll-off correction operation using values corrected based on brightness information
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8547423B2 (en) 2009-09-24 2013-10-01 Alex Ning Imaging system and device
KR101679290B1 (ko) * 2009-11-17 2016-11-24 삼성전자 주식회사 영상 처리 방법 및 장치
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
KR101053464B1 (ko) * 2010-05-27 2011-08-03 (주) 에투시스템 광각 카메라의 광학정보 획득 장치, 광각영상 보정 장치 및 그 방법
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
KR101144375B1 (ko) * 2010-12-30 2012-05-10 포항공과대학교 산학협력단 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8737685B2 (en) * 2011-04-25 2014-05-27 Honeywell International Inc. Systems and methods for detecting the movement of an object
JP5739722B2 (ja) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング 物体認識方法及び認識装置
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9105090B2 (en) 2011-07-13 2015-08-11 Analog Devices, Inc. Wide-angle lens image correction
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
CN103377474B (zh) * 2012-04-27 2016-08-03 比亚迪股份有限公司 镜头阴影校正系数确定方法、镜头阴影校正方法及装置
KR101428169B1 (ko) * 2012-07-09 2014-08-07 현대자동차주식회사 후방 카메라의 영상 왜곡 보정 장치 및 방법
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
CN102982516B (zh) * 2012-10-25 2015-07-29 西安理工大学 一种基于半球环形全景镜头实现全景图像的方法
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR101477900B1 (ko) 2013-03-27 2014-12-30 (주) 넥스트칩 왜곡 영상 보정 장치 및 방법
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP6322798B2 (ja) * 2013-11-18 2018-05-16 リーダー電子株式会社 カメラの検査装置及び該検査装置を用いたカメラの検査方法
CN103617615B (zh) * 2013-11-27 2016-08-17 华为技术有限公司 径向畸变参数获取方法及获取装置
US9196022B2 (en) * 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods
GB2524250A (en) * 2014-03-17 2015-09-23 Sony Comp Entertainment Europe Image processing
KR101493946B1 (ko) * 2014-04-16 2015-02-17 하이네트(주) 광각 렌즈 이미지 보정 방법 및 그 장치
CN104010119A (zh) * 2014-05-13 2014-08-27 深圳奇沃智联科技有限公司 360度环场实时显像装置
KR102179262B1 (ko) 2014-06-11 2020-11-16 삼성전자주식회사 렌즈 왜곡 보정 장치 및 이를 포함하는 애플리케이션 프로세서
CN104363986B (zh) 2014-10-31 2017-06-13 华为技术有限公司 一种图像处理方法和设备
CN105007411B (zh) * 2015-06-30 2018-01-23 广东欧珀移动通信有限公司 一种畸变校正的方法及移动终端
KR101714213B1 (ko) * 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
CN105430333B (zh) * 2015-11-18 2018-03-23 苏州科达科技股份有限公司 一种实时回算枪机畸变系数的方法及装置
CN106454098A (zh) * 2016-10-31 2017-02-22 深圳晨芯时代科技有限公司 一种虚拟现实拍摄及显示的方法、系统
GB2555643A (en) * 2016-11-08 2018-05-09 Nokia Technologies Oy Determining an intersection location of an optical axis of a lens with a camera sensor
KR101877548B1 (ko) * 2016-11-15 2018-07-11 멀티펠스 주식회사 곡면 투사용 영상 생성 시스템 및 그 생성 방법
EP3637757B1 (en) * 2017-05-18 2022-12-07 Sony Group Corporation Image processing device, image processing method, and program
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
US10721419B2 (en) 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
CN108305224A (zh) * 2018-01-15 2018-07-20 上海顺久电子科技有限公司 一种图像的畸变校正方法、装置及电视机
KR102118173B1 (ko) 2018-10-31 2020-06-02 중앙대학교 산학협력단 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
US20200314070A1 (en) * 2019-03-29 2020-10-01 Popsockets Llc Obscured media communication
DE112021006264T5 (de) * 2020-12-02 2023-11-02 Telechips Inc. Vorrichtung und Verfahren zur Bildverarbeitung einer Rückfahrkamera
KR102478458B1 (ko) * 2020-12-02 2022-12-19 주식회사 텔레칩스 후방 카메라 영상 처리 장치 및 방법
KR102412275B1 (ko) 2021-05-27 2022-06-24 한국과학기술원 스테레오 방법을 이용한 3차원 형상정보 계측에 있어서의 이미지 왜곡 보정 방법 및 장치
US11756171B1 (en) * 2021-07-07 2023-09-12 Gopro, Inc. Systems and methods for increasing image fidelity
KR102584209B1 (ko) * 2022-10-27 2023-10-04 상명대학교산학협력단 오목 렌즈 배열을 이용한 집적 영상의 3차원 재구성 방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4790028A (en) * 1986-09-12 1988-12-06 Westinghouse Electric Corp. Method and apparatus for generating variably scaled displays
JP3104327B2 (ja) * 1991-10-18 2000-10-30 松下電器産業株式会社 歪曲収差補正装置および画像合成装置
US6005984A (en) * 1991-12-11 1999-12-21 Fujitsu Limited Process and apparatus for extracting and recognizing figure elements using division into receptive fields, polar transformation, application of one-dimensional filter, and correlation between plurality of images
JP3035416B2 (ja) * 1992-11-18 2000-04-24 キヤノン株式会社 撮像装置及び画像再生装置及び映像システム
JP3297511B2 (ja) * 1993-10-15 2002-07-02 オリンパス光学工業株式会社 映像処理装置
JPH07250268A (ja) * 1994-03-14 1995-09-26 Yazaki Corp 車両周辺監視装置
JPH08256295A (ja) * 1994-12-21 1996-10-01 Olympus Optical Co Ltd 画像処理装置
US5999660A (en) * 1995-07-26 1999-12-07 California Institute Of Technology Imaging system for correction of perceptual distortion in wide angle images
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
JPH0998340A (ja) * 1995-09-29 1997-04-08 Sanyo Electric Co Ltd 撮像装置
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
JPH11184595A (ja) * 1997-12-18 1999-07-09 Toshiba Corp 画面拡大表示方法ならびに装置及び同方法がプログラムされ記録される記録媒体
JPH11275391A (ja) * 1998-03-20 1999-10-08 Kyocera Corp ディストーション補正を選択できるディジタル撮像装置
JP2000092309A (ja) 1998-09-16 2000-03-31 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
JP2000324339A (ja) * 1999-03-09 2000-11-24 Fuji Photo Film Co Ltd 画像処理方法および画像処理装置
JP3668654B2 (ja) * 1999-11-01 2005-07-06 株式会社大林組 歪曲収差の補正方法
JP2001274973A (ja) * 2000-03-24 2001-10-05 Sanyo Electric Co Ltd 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3650578B2 (ja) * 2000-09-28 2005-05-18 株式会社立山アールアンドディ 画像の歪みを補正するためのニューラル・ネットワークを用いたパノラマ画像ナビゲーションシステム
JP3975736B2 (ja) * 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
US7058237B2 (en) * 2002-06-28 2006-06-06 Microsoft Corporation Real-time wide-angle image correction system and method for computer image viewing
JP3650378B2 (ja) * 2002-07-09 2005-05-18 オリンパス株式会社 画像処理装置
US7084904B2 (en) * 2002-09-30 2006-08-01 Microsoft Corporation Foveated wide-angle imaging system and method for capturing and viewing wide-angle images in real time
JP2004199350A (ja) 2002-12-18 2004-07-15 Clarion Co Ltd 画像歪み補正装置及び画像歪み補正方法
JP2004234379A (ja) * 2003-01-30 2004-08-19 Sony Corp 画像処理方法、画像処理装置及び画像処理方法を適用した撮像装置、表示装置
JP4346938B2 (ja) * 2003-04-09 2009-10-21 キヤノン株式会社 画像処理装置、方法、プログラム及び記憶媒体
JP4307934B2 (ja) 2003-08-13 2009-08-05 株式会社トプコン 画像補正機能付撮影装置及び方法、並びに撮影装置及び方法
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
JP2005151317A (ja) * 2003-11-18 2005-06-09 Tamron Co Ltd 歪曲収差変更撮影装置
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
DE102004017730B4 (de) * 2004-04-10 2006-05-24 Christian-Albrechts-Universität Zu Kiel Verfahren zur Rotationskompensation sphärischer Bilder
JP2005311473A (ja) * 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP4516475B2 (ja) * 2005-04-27 2010-08-04 オリンパスメディカルシステムズ株式会社 略球形状の観察窓を有する内視鏡用撮像光学系
US20070030452A1 (en) * 2005-08-08 2007-02-08 N-Lighten Technologies Image adaptation system and method
EP1959676B1 (en) * 2005-12-05 2017-04-12 Nikon Corporation Distortion correction method, image processing apparatus, interchangeable lens, camera, and camera system
JP4752524B2 (ja) * 2006-01-31 2011-08-17 コニカミノルタホールディングス株式会社 歪曲収差補正方法及び歪曲収差補正装置
TW200734965A (en) * 2006-03-10 2007-09-16 Sony Taiwan Ltd A perspective correction panning method for wide-angle image
JP2007293457A (ja) * 2006-04-21 2007-11-08 Yamaha Corp 画像処理装置
KR100744937B1 (ko) * 2006-06-29 2007-08-01 삼성전기주식회사 렌즈 왜곡 보정 방법
US8224122B2 (en) * 2006-12-15 2012-07-17 Microsoft Corporation Dynamic viewing of wide angle images
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode

Also Published As

Publication number Publication date
JP2009064427A (ja) 2009-03-26
US20090059041A1 (en) 2009-03-05
CN101448065A (zh) 2009-06-03
EP2031861A3 (en) 2012-06-20
EP2031861A2 (en) 2009-03-04
US8000559B2 (en) 2011-08-16
KR20090021627A (ko) 2009-03-04
KR101014572B1 (ko) 2011-02-16
CN101448065B (zh) 2012-01-04

Similar Documents

Publication Publication Date Title
JP4885179B2 (ja) 映像歪曲補正方法及びその補正方法を採用した映像処理装置
US7529424B2 (en) Correction of optical distortion by image processing
JP4942216B2 (ja) 画像処理方法、画像処理装置、撮像装置及びプログラム
JP5388671B2 (ja) 撮像装置及び画像変換方法
JP5489897B2 (ja) ステレオ測距装置及びステレオ測距方法
JP5438579B2 (ja) 画像処理装置及びその制御方法
JP5709911B2 (ja) 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置
JP5959976B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP4818957B2 (ja) 撮像装置およびその方法
JP2005509961A (ja) 較正を導き出す方法および画像処理の方法
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
JP2009017419A (ja) 撮像装置及び交換レンズ装置
TWI626500B (zh) 攝影裝置、透鏡單元以及訊號處理裝置
US8634001B2 (en) Image processing apparatus, image processing program, image processing method, and image-pickup apparatus
US20080012964A1 (en) Image processing apparatus, image restoration method and program
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP2010061440A (ja) 画像処理装置
JP4994158B2 (ja) 画像補正装置
KR20140117808A (ko) 감시카메라의 영상 왜곡 보정장치 및 왜곡 보정방법
JP2019176302A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5993124B2 (ja) 撮像装置
EP3605450B1 (en) Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
JP6491445B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2017163491A (ja) 情報処理装置、光学機器、情報処理方法、情報処理プログラム、および記録媒体
JP2017212636A (ja) 画像処理装置、撮像装置および画像処理方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101125

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4885179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees