JP6105960B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP6105960B2 JP6105960B2 JP2013021795A JP2013021795A JP6105960B2 JP 6105960 B2 JP6105960 B2 JP 6105960B2 JP 2013021795 A JP2013021795 A JP 2013021795A JP 2013021795 A JP2013021795 A JP 2013021795A JP 6105960 B2 JP6105960 B2 JP 6105960B2
- Authority
- JP
- Japan
- Prior art keywords
- correction amount
- reliability
- image
- correction
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Description
本発明は画像処理装置、画像処理方法、および撮像装置に関し、特に撮像画像における、光学系の色収差の影響を補正する技術に関する。 The present invention relates to an image processing device, an image processing method, and an imaging device, and more particularly to a technique for correcting the influence of chromatic aberration of an optical system in a captured image.
光の屈折率が波長に応じて異なることにより、撮像レンズによる結像位置が光の波長(色)によってずれる現象を色収差と呼ぶ。例えば色収差のうち倍率色収差は、特に画像のエッジ周辺において色滲みとして観察され、画質を劣化させる要因となっている。また、色収差の大きさ(結像位置のずれ量)は、焦点距離、絞り、物体距離(以下、光学パラメータと呼ぶ)と光軸からの距離(以下、像高と呼ぶ)に応じて変化することが知られている。 A phenomenon in which the imaging position by the imaging lens is shifted depending on the wavelength (color) of the light due to the difference in the refractive index of the light depending on the wavelength is called chromatic aberration. For example, chromatic aberration of magnification among chromatic aberrations is observed as color blur especially around the edge of an image, and is a factor that degrades image quality. In addition, the magnitude of chromatic aberration (the amount of shift of the imaging position) varies according to the focal length, the aperture, the object distance (hereinafter referred to as an optical parameter), and the distance from the optical axis (hereinafter referred to as an image height). It is known.
特許文献1には、予め記憶した、光学パラメータおよび像高に応じた基準色信号と補正対象色信号との結像位置のずれ量に基づいて、補正対象色信号のデータを近傍のデータにより補間することで倍率色収差を補正することが開示されている。 Japanese Patent Laid-Open No. 2004-228688 interpolates correction target color signal data with neighboring data based on a pre-stored shift amount of an imaging position between a reference color signal and a correction target color signal corresponding to an optical parameter and an image height. It is disclosed that the lateral chromatic aberration is corrected by doing so.
しかしながら、特許文献1の方法では、ずれ量が記憶されていない光学パラメータや像高に対するずれ量は、記憶されているずれ量を補間して求める必要があるため、補間による誤差が発生する。特に、光学パラメータの膨大な組み合わせの中から実際に記憶できる組み合わせは少ないため、所望の光学パラメータの組み合わせに近いものが記憶されている可能性は小さく、誤差が発生する可能性が高くなる。
However, in the method of
また、結像位置のずれ量はレンズの設計値から生成するが、製品には製造上の個体差があるため、必ずしもレンズの設計値通りのずれ量とはならず、この点においても誤差が生じる。さらに、テレコンバータレンズやワイドコンバータレンズを装着した場合など、撮像レンズの色収差の特性が変化する場合には対応できない。 In addition, the amount of deviation of the imaging position is generated from the design value of the lens, but because there are individual differences in manufacturing, the amount of deviation is not always the same as the design value of the lens. Arise. Furthermore, it cannot cope with a case where the characteristics of chromatic aberration of the imaging lens change, such as when a teleconverter lens or a wide converter lens is attached.
本発明は上述した課題に鑑みてなされたものであり、その目的は、あらかじめ記憶された補正量を用いつつ、より柔軟で精度の高い色収差補正を実現することである。 The present invention has been made in view of the above-described problems, and an object thereof is to realize more flexible and highly accurate chromatic aberration correction while using a correction amount stored in advance.
上述の目的は、撮像された画像に対し、画像の撮影に用いられた光学系の色収差補正を行う画像処理装置であって、予め記憶された、光学系の少なくとも絞り値に関する情報と物体距離に関する情報とを含む光学パラメータの離散的な組み合わせごとの補正量に基づいて、画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第1の補正量として算出する第1の補正量算出手段と、画像を撮像した際の光学パラメータの組み合わせと、予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、第1の補正量の信頼度である第1の信頼度を算出する第1の信頼度算出手段と、画像に基づいて、画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第2の補正量として算出する第2の補正量算出手段と、画像に基づいて、第2の補正量の信頼度である第2の信頼度を算出する第2の信頼度算出手段と、第1の信頼度および第2の信頼度に基づく重みを用いて第1の補正量および第2の補正量を加重加算し、第3の補正量を生成する第3の補正量生成手段と、第3の補正量を画像に適用して色収差補正を行う補正手段と、を有することを特徴とする画像処理装置によって達成される。 An object of the present invention is to provide an image processing apparatus that corrects chromatic aberration of an optical system used to capture an image, and relates to at least information related to at least an aperture value and an object distance stored in advance. Based on a correction amount for each discrete combination of optical parameters including information, a correction amount for a discrete image height corresponding to the combination of optical parameters when an image is captured is calculated as a first correction amount. The reliability of the first correction amount is based on the first correction amount calculation means, the combination of the optical parameters when the image is captured, and the combination of the optical parameters corresponding to the correction amount stored in advance. a first reliability calculating means for calculating a degree of confidence based on the image, the correction amount for discrete image height corresponding to a combination of optical parameters at the time of capturing the image A second correction amount calculating unit that calculates a second correction amount; a second reliability calculating unit that calculates a second reliability that is a reliability of the second correction amount based on the image; A third correction amount generating means for generating a third correction amount by weighted addition of the first correction amount and the second correction amount using a weight based on the reliability of 1 and the second reliability; And an image processing apparatus having correction means for correcting chromatic aberration by applying a correction amount of 3 to an image.
以上説明したように、本発明によれば、あらかじめ記憶された補正量を用いつつ、より柔軟で精度の高い色収差補正を実現することができる。 As described above, according to the present invention, it is possible to realize more flexible and accurate chromatic aberration correction while using a correction amount stored in advance.
(第1の実施形態)
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
図1は、本発明の第1の実施形態に係る画像処理装置の一例としての撮像装置の構成を示すブロック図である。撮像装置は、デジタルカメラ、デジタルビデオカメラといった撮像を主機能とする装置はもちろん、カメラを内蔵した任意の電子機器(例えばパーソナルコンピュータ、携帯電話機、ゲーム機など)であってよい。
(First embodiment)
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus as an example of an image processing apparatus according to the first embodiment of the present invention. The imaging device may be any electronic device (for example, a personal computer, a mobile phone, a game machine, etc.) having a built-in camera as well as a device having a main function of imaging such as a digital camera and a digital video camera.
光学系1はズームレンズ、フォーカスレンズ、絞りを含み、被写体像を撮像面に結像する。光学系駆動部2は光学系1のズームレンズ、フォーカスレンズ、絞り等を駆動する。撮像素子3は例えば複数の画素が二次元的に配列されたCCDまたはCMOSイメージセンサであり、光学系1が結像した被写体像を画素単位の電気信号として出力する。撮像素子駆動部4は、撮像素子3を駆動する。色収差補正部5は補正量生成部9からの補正量を用いて、撮像素子3の出力する画像信号に対して色収差補正を適用する。
The
第2の信頼度算出手段としての色収差評価部6は、画像信号を補正量算出部7に供給するとともに、補正量算出部7が算出する補正量の信頼度(第2の信頼度)を、画像信号に基づいて算出する。第2の補正量算出手段としての補正量算出部7は画像信号から色収差の補正量を算出する。像高演算部8は、像高(光学中心からの距離)を算出する。第3の補正量算出手段としての補正量生成部9は、色収差補正部5で用いる補正量(第3の補正量)を生成する。光学データベース(DB)10には、光学パラメータ(例えば焦点距離,絞り,物体距離)の離散的な組み合わせごとに、離散的な複数の像高に対応した色収差量(補正量)が予め記憶されている。
The chromatic
第1の補正量算出手段としての補正量補間部11は、現在の光学パラメータの組み合わせに対応する補正量が光学DB10に記憶されていない場合、近傍の光学パラメータの組み合わせに対応する補正量を補間することによって生成する。第1の信頼度算出手段としての補正量補間部11はさらに、現在の光学パラメータと光学DB10に記憶されている光学パラメータとの差に基づき、補正量補間部11が生成する補正量の信頼度(第1の信頼度)を生成する。
When the correction amount corresponding to the current optical parameter combination is not stored in the
システム制御部12は、光学系駆動部2、撮像素子駆動部4、補正量生成部9、および像高演算部8を制御するとともに、光学DB10より光学パラメータに基づく補正量を読み出し、補正量補間部11へ出力する。システム制御部12は、例えばCPU,MPU等のプログラマブルプロセッサと、ソフトウェアの組み合わせによって実現できる。また、光学系1および撮像素子3以外の機能ブロックの1つ以上は、ソフトウェア、ハードウェア、またはその組み合わせによって実現可能である。
The
なお、システム制御部12は、任意の方法で光学パラメータを取得することができる。例えば、光学系駆動部2から現在の絞り値,焦点距離(画角),物体距離に関する情報を取得することができる。なお、焦点距離に関する情報はズームレンズの位置、物体距離に関する情報はフォーカスレンズの位置であってもよい。また、本発明を撮像機能を持たない電子機器で実施する場合、外部装置や画像データのヘッダ部などからこれらの光学パラメータを取得してもよい。なお、画角が固定であることが予め分かっている場合には、焦点距離に関する情報を取得する必要がないことはいうまでもない。
Note that the
図1の構成を有する撮像装置の撮影動作について説明する。まず、システム制御部12からの制御信号により、光学系駆動部2を通じて光学系1の絞りやレンズが駆動され、適切な明るさに設定された被写体像が撮像素子3上に結像される。撮像素子3は、システム制御部12により制御される撮像素子駆動部4が出力する駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。画像信号に対しては通常、相関二重サンプリングやゲイン調整、A/D変換などの前処理が行われる。
An imaging operation of the imaging apparatus having the configuration of FIG. 1 will be described. First, the aperture or lens of the
色収差評価部6は、撮像素子3からの画像信号を補正量算出部7へ出力する。また、色収差評価部6は、補正量算出部7で算出される補正量の信頼度を撮像素子3からの画像信号に基づいて算出(推定)し、補正量生成部9へ出力する。
The chromatic
図2は、色収差評価部6の機能構成例を示すブロック図である。
なお、本実施形態では、撮像素子3がベイヤー配列の原色カラーフィルタが設けられた単板撮像素子であるとする。従って、撮像素子3の出力する画像信号は、画素ごとに、赤(R)、緑(G)、青(B)のいずれか1色に対応している。このような、各画素が1色の情報しか有さない画像信号をRAWデータと呼ぶ。色収差評価部6にはRAWデータが入力されるため、LPF101は、RAWデータをR画素,G画素,B画素に分離した後、すべての画素がRGBの値を持つよう補間演算(デモザイク処理)を行う。そして、補間演算により得られた、すべての画素がRGBの値を持つ画像データから、R成分の画像プレーン、G成分の画像プレーン、B成分の画像プレーンを生成し、勾配検出部102〜104に供給する。
FIG. 2 is a block diagram illustrating a functional configuration example of the chromatic
In the present embodiment, it is assumed that the
勾配検出部102〜104はそれぞれ、R成分の画像プレーン、G成分の画像プレーン、B成分の画像プレーンから、像高方向における画像の特徴の一例としての勾配またはコントラストを検出し、勾配信号を出力する。
信頼度生成部105では、勾配検出部102〜104からの勾配信号を用いて、補正量算出部7が画像信号(RAWデータ)から算出する補正量の信頼度を算出(推定)し、補正量生成部9へ出力する。後述するように、補正量算出部7は複数の評価領域の各々で1つの補正量を算出する。そのため、信頼度生成部105も、各評価領域の像高方向における勾配信号から、個々の補正量に対する信頼度を算出する。
Each of the
In the
ここで、色収差の補正量を画像信号に基づいて算出する場合、RGBの各色成分のうち基準色信号(G)と補正対象信号(RまたはB)の勾配信号のピーク値が高い画像が適している。信頼度生成部105は、RAWデータから検出される画像の特徴により、画像が色収差の補正量の算出に適した画像である程度が高いと判定されるほど、補正量算出部7が算出する補正量の信頼度が高くなるように算出(推定)する。具体的には、信頼度生成部105は、検出されたRGBの勾配のピークを検出し、図3に示すように、基準色信号(G)と補正対象信号(RまたはB)の勾配のピークがいずれも高く、かつ符号が同じ場合に、高い信頼度Trが得られるように信頼度を算出する。
Here, when calculating the correction amount of chromatic aberration based on the image signal, an image having a high peak value of the gradient signal of the reference color signal (G) and the correction target signal (R or B) among the RGB color components is suitable. Yes. The
補正量算出部7は、色収差評価部6を通じて供給されるRAWデータから、離散的な複数の像高に対応する色収差の補正量を算出し、補正量生成部9へ出力する。
The correction
補正量算出部7の動作を、図4に示すフローチャートに基づいて説明する。補正量算出部7は、図4に示すS101〜S106の処理を個々の評価領域に対して実行し、評価領域を代表する像高(ここでは評価領域の中心に対応する像高)に対する補正量を算出する。
The operation of the correction
S101で補正量算出部7は、例えば図5に示すように設定された複数の評価領域のうち、1つの評価領域に対応する画像信号(RAWデータ)を抽出する。ここでは、像高方向として、画面の中央(光軸と画面の交点)から垂直方向、水平方向、および対角方向に複数の評価領域を設定している。異なる像高に対する補正値を計算するため、画面の中央から評価領域(例えば領域の中心)までの距離は互いに異なるように評価領域を設定している。また、光学DB10に記憶されている補正値と同じ像高に対する補正値を求めるように評価位置を設定する。なお、図5の例では、画面を縦横2つに分割した際の右上の領域に全ての評価領域を設定しているが、必ずしも評価領域を特定の領域に集中して設定しなくてもよい。
In S101, the correction
S102において補正量算出部7は、例えば図6に示すような、予め記憶してある、ある範囲のある分解能を持った補正量セットから1つの補正量を読み出す。補正量セットは像高方向に対する補正量である。
In S102, the correction
S103において補正量算出部7は、読み出した補正量を用いて評価領域内のRおよびBプレーンについて、倍率色収差補正を行う。
図7は、補正量算出部7における倍率色収差補正の例を模式的に示す図である。
倍率色収差の補正量は、着目画素位置におけるずれ量を水平、垂直方向の位相ずれ成分として分離した位相ずれ量である。図7(a)の黒画素は、着目画素Sが本来あるべき位相を示しており、仮想画素S’は、着目画素Sがブレの影響で水平方向にHp、垂直方向にVp、それぞれ位相ずれして撮像された位置を示す。倍率色収差を補正するには、仮想画素S’の値を求め、着目画素Sの値を置換すればよい。仮想画素S’の値は、図7(b)に示すように、仮想画像S’の近傍に存在する画素s1、s2、s3、s4の値を、仮想画素S’との画素間距離c1、c2、c3、c4で重み付け補間演算することで生成することができる。図7(c)に示すように、着目画素Sの値が生成された仮想画素S’の値で置換され、倍率色収差が補正される。
In step S103, the correction
FIG. 7 is a diagram schematically illustrating an example of magnification chromatic aberration correction in the correction
The correction amount of the lateral chromatic aberration is a phase shift amount obtained by separating the shift amount at the target pixel position as a phase shift component in the horizontal and vertical directions. The black pixel in FIG. 7A indicates the phase that the target pixel S should be originally, and the virtual pixel S ′ has a phase shift of Hp in the horizontal direction and Vp in the vertical direction due to the influence of the target pixel S. The imaged position is shown. In order to correct lateral chromatic aberration, the value of the virtual pixel S ′ may be obtained and the value of the pixel of interest S may be replaced. As shown in FIG. 7B, the value of the virtual pixel S ′ is the value of the pixels s1, s2, s3, s4 existing in the vicinity of the virtual image S ′, and the inter-pixel distance c1, It can be generated by performing weighted interpolation calculation with c2, c3, and c4. As shown in FIG. 7C, the value of the target pixel S is replaced with the value of the generated virtual pixel S ′, and the lateral chromatic aberration is corrected.
図6に示した補正量セットは、像高方向における補正量であるため、S103において補正量算出部7は、評価領域における像高方向に応じて補正量を水平成分と垂直成分に分解し、図7(a)のHp,Vpの値を求めて補正を行う。なお、本実施形態では、評価領域内の各画素のR成分およびB成分に対し、補正量セットから選択した1つの補正量を共通に用いて色収差補正を行う。
Since the correction amount set shown in FIG. 6 is a correction amount in the image height direction, in S103, the correction
S104において補正量算出部7は、基準信号としてのG成分と、色収差補正後のR,B成分との差分(G−R,G−B)を求める。差分は画素ごとの差分の合計であってよい。
In S104, the correction
S105において補正量算出部7は、補正量セットに含まれるすべての補正量について、差分抽出が完了したかどうかを判断し、完了していなければS102へ進んで、補正量セット内の別の補正量を設定し、補正および差分抽出を行う。S105において、全ての補正値についての差分抽出が完了していれば、S106において補正量算出部7は、S104で求めた差分が最小となるときの補正量を、評価領域(を代表する像高)に対する補正量として補正量生成部9へ出力する。
In S105, the correction
像高演算部8はシステム制御部12から与えられる着目画素の座標と、予め設定されている(あるいはシステム制御部12から与えられる)光学中心の座標とから、例えば以下の式(1)に示す演算を用いて着目画素の像高hgtを求め、補正量生成部9へ出力する。
ここで、座標は例えば左上隅を原点とした直交座標系で表され、xadrは着目画素の水平方向の座標を示し、yadrは着目画素の垂直方向の座標を示す。また、Hcは光学中心の水平方向の座標を示し、Vcは光学中心の水平方向の座標を示す。 Here, the coordinates are represented by, for example, an orthogonal coordinate system with the upper left corner as the origin, xadr indicates the horizontal coordinate of the pixel of interest, and yadr indicates the vertical coordinate of the pixel of interest. Hc represents the horizontal coordinate of the optical center, and Vc represents the horizontal coordinate of the optical center.
補正量生成部9は、補正量補間部11からの補正量および信頼度、色収差評価部6からの信頼度、像高演算部8からの像高、および補正量算出部7からの補正量とから補正量を算出し、色収差補正部5へ出力する。
なお、補正量補間部11からの補正量および補正量算出部7からの補正量は離散的な像高に対応する補正量である。そのため、補正量生成部9は、像高演算部8から与えられる着目画素の像高に対する補正量を、近傍の像高に対する補正量の補間により求める。
The correction amount generation unit 9 includes the correction amount and reliability from the correction
The correction amount from the correction
補正量補間部11は、光学DB10に記憶されている補正量(色収差量)から、現在の光学パラメータに対応した補正量を生成し、補正量生成部9へ出力する。光学DB10に光学パラメータの全ての組み合わせについて別個に補正量を記憶するには膨大な記憶容量が必要となるため、光学パラメータの離散的な組み合わせに対応した補正量を保持するのが現実的である。この場合、補正量補間部11は、現在の光学パラメータの組み合わせに対応した補正量が光学DB10に記憶されていればその補正量をそのまま出力する。現在の光学パラメータの組み合わせに対応した補正量が光学DB10に記憶されていなければ、記憶されている光学パラメータの組み合わせのうち、近い組み合わせに対応した複数の補正量を補間して現在の光学パラメータの組み合わせに対応した補正量を生成する。
The correction
なお、上述の通り、光学DB10には、光学パラメータの組み合わせごとに、それぞれが異なる像高に対応する複数の補正量が記憶されている。そのため、補正量補間部11も、異なる像高に対応する複数の補正量を出力する。
As described above, the
補間により補正量を生成する場合、現在の光学パラメータの組み合わせと、補間に用いる補正量に対応する光学パラメータの組み合わせとの差が大きくなるほど、生成される補正量の精度が低下する。そのため、補正量補間部11は、補間に用いた補正量に対応する光学パラメータの組み合わせと、現在の光学パラメータの組み合わせとの差が大きいほど低くなる信頼度DIを補正量生成部9へ出力する。なお、光学パラメータ間の差は、光学パラメータの各々についての差を数値化して合計するなど、任意の方法で評価することができる。
When the correction amount is generated by interpolation, the accuracy of the generated correction amount decreases as the difference between the current combination of optical parameters and the combination of optical parameters corresponding to the correction amount used for interpolation increases. Therefore, the correction
色収差補正部5は、撮像素子3からの画像信号に対し、補正量生成部9からの補正量を用いて色収差補正を行う。色収差補正の方法は図7を用いて説明したものと同じでよい。
The chromatic
次に、図8を用いて、補正量生成部9の制御動作の例を説明する。
まず、補正量生成部9は、補正量算出部7が画像から算出した補正量と、光学DB10に記憶された補正量(またはそれから生成された補正量)とのうち、同じ像高に対応する補正量を加重加算し、離散的な複数の像高に対する補正量を生成する。像高演算部8から供給される像高が、離散的な複数の像高と異なる場合には、近い像高に対応する複数の補正量を補間して補正量を生成する。
Next, an example of the control operation of the correction amount generation unit 9 will be described with reference to FIG.
First, the correction amount generation unit 9 corresponds to the same image height among the correction amount calculated from the image by the correction
第3の補正量生成手段としての補正量生成部9は、加重加算における重みを、色収差評価部6からの信頼度Trと、補正量補間部11からの信頼度DIとから算出する。
図8は、補正量算出部7が画像から算出した補正量の重みαの特性の例を模式的に示している。画像から算出した補正量の重みαは、補正量補間部11からの信頼度DIが低くなるほど、かつ、色収差評価部6からの信頼度Trが高くなるほど大きくなる。より具体的には、補正量補間部11からの信頼度DIが最も低く、かつ、色収差評価部6からの信頼度Trが最も高い場合に最大(α=1)となり、そこから信頼度DIが高く、また信頼度Trが低くなるにつれて小さくなる特性を有する。信頼度DIが最大で、信頼度Trが最小の場合に、重みαは0となる(すなわち、光学DB10に基づく補正量のみが用いられる)。
The correction amount generation unit 9 as the third correction amount generation unit calculates the weight in the weighted addition from the reliability Tr from the chromatic
FIG. 8 schematically shows an example of the characteristic of the correction amount weight α calculated from the image by the correction
信頼度DIと信頼度Trが等しい場合には、重み0<α<0.5とする。これは、画像に基づく補正量よりも設計値に基づく補正量の方が一般には誤差が少ないと考えられることによる。同様の理由により、重みαは信頼度の変化に対して線形的に変化するのではなく、信頼度Trが十分に高い場合にのみ高くなるような特性を持たせている。なお、図8におけるTrmaxは、色収差評価部6からの信頼度Trの最大値を示し、DImaxは補正量補間部11からの信頼度DIの最大値を示す。
When the reliability DI and the reliability Tr are equal, the weight 0 <α <0.5. This is because the correction amount based on the design value is generally considered to have less error than the correction amount based on the image. For the same reason, the weight α does not change linearly with respect to the change in reliability, but has a characteristic that increases only when the reliability Tr is sufficiently high. In FIG. 8, Trmax indicates the maximum value of the reliability Tr from the chromatic
次に第3の補正量生成手段としての補正量生成部9は、例えば以下の式(2)に示す演算を用いて、補正量算出部7が画像から算出した補正量と、光学DB10に記憶された補正量(またはそれから生成された補正量)とを加重加算して補正量corを求める。
cor = (1 - α) * corDB + α*corCalc (2)
ここで、corDBは光学DB10より取得した補正量(または光学DB10より取得した補正量を補間して求めた補正量)、corCalcは補正量算出部7が画像から(評価領域内の画像データから)算出した補正量を表す。
Next, the correction amount generation unit 9 as a third correction amount generation unit stores the correction amount calculated from the image by the correction
cor = (1-α) * corDB + α * corCalc (2)
Here, corDB is the correction amount acquired from the optical DB 10 (or correction amount obtained by interpolating the correction amount acquired from the optical DB 10), and corCalc is calculated from the image by the correction amount calculation unit 7 (from the image data in the evaluation region). This represents the calculated correction amount.
このようにして複数の離散的な像高について求めた補正量に基づき、補正量生成部9は、像高演算部8から供給される像高に対応する補正量を色収差補正部5に出力する。
Based on the correction amounts obtained for a plurality of discrete image heights in this way, the correction amount generation unit 9 outputs a correction amount corresponding to the image height supplied from the image
以上説明したように、本実施形態によれば、現在の光学パラメータの組み合わせによって撮像された画像から算出される補正量と、予め記憶された補正量とを、それぞれの信頼度に基づいて重み付け加算して、最終的な補正量を算出する。そのため、現在の光学パラメータと、記憶されている補正値に対応する光学パラメータとの差異によって生じる誤差の影響を抑制し、精度の高い色収差補正を実現できる。また、撮像レンズの色収差特性が変わった場合でも、画像から算出された補正量が加味されることによって色収差補正の精度が大きく低下することを防止でき、全体として精度の良い色収差補正を実現できる。 As described above, according to this embodiment, the correction amount calculated from the image captured by the current combination of optical parameters and the correction amount stored in advance are weighted and added based on the respective reliability. Then, the final correction amount is calculated. Therefore, it is possible to suppress the influence of an error caused by the difference between the current optical parameter and the optical parameter corresponding to the stored correction value, and to realize highly accurate chromatic aberration correction. Further, even when the chromatic aberration characteristics of the imaging lens change, it is possible to prevent the accuracy of chromatic aberration correction from being greatly reduced by adding the correction amount calculated from the image, and it is possible to realize chromatic aberration correction with high accuracy as a whole.
(第1の実施形態の変形例)
上述した第1の実施形態において、図1に点線の矢印で示すように、補正量算出部7が色収差評価部6が算出した信頼度を取得し、信頼度に応じて補正量の算出精度を変えることによって、補正量算出負荷を軽減することができる。
(Modification of the first embodiment)
In the first embodiment described above, as indicated by a dotted arrow in FIG. 1, the correction
つまり、補正量算出部7は、色収差評価部6が算出した信頼度が所定値以上であれば、図4のS102〜S105の処理を、図6に示した補正量セットの全ての補正量に対して行う。一方、色収差評価部6が算出した信頼度が所定値未満であれば、補正量算出部7は、図6に示した補正量セットのうち、一部を間引いた補正量について図4のS102〜S105の処理を行う。もちろん、信頼度をより多くのレベルに分割し、レベルが低いほど間引きの割合を多くするようにしてもよい。このように、信頼度が低い場合には、補正量の精度を落とす代わりに演算負荷を軽減するようにしてもよい。なお、この変形例は、後述する第2および第3の実施形態に適用することもできる。
That is, if the reliability calculated by the chromatic
(第2の実施形態)
図9は、本発明の第2の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図であり、図1と同一のブロックには同一の参照番号を付し、重複する説明は省略する。本実施形態においては、システム制御部12に接続されたメモリ13を追加し、色収差評価部6からの信頼度Trと、補正量算出部7が画像から算出した補正量corCalcとを、その時の光学パラメータと対応付けて保持しておく。そして、その後同じ光学パラメータの組み合わせとなった時に、メモリ13に保持している信頼度と補正量を用いて、より精度の高い色収差補正を実現することを特徴とする。
(Second Embodiment)
FIG. 9 is a block diagram showing a configuration example of an imaging apparatus as an example of an image processing apparatus according to the second embodiment of the present invention. The same blocks as those in FIG. The description to be omitted is omitted. In the present embodiment, a
以下、第1の実施形態との相違点に重点を置いて、本実施形態の撮像装置の動作について説明する。
メモリ13はシステム制御部12からの記録命令に従い、色収差評価部6からの信頼度Trと補正量算出部7からの補正量corCalcとを、その時の光学パラメータと対応付けて保存する。以下、メモリ13に記憶された信頼度をMTr、補正量をMcorCalcと表す。メモリ13はまた、システム制御部12からの読み出し命令と光学パラメータに従い、対応する信頼度MTrと補正量McorCalcを出力する。
Hereinafter, the operation of the imaging apparatus according to the present embodiment will be described with emphasis on the differences from the first embodiment.
The
図10は、本実施形態における補正量生成部9の動作を説明するフローチャートである。
S201で補正量生成部9は、メモリ13に現在と同じ光学パラメータに対応した信頼度MTrと補正量McorCalcが保持されているかシステム制御部12を通じて確認し、保持されていなければS202へ、保持されていればS203へ処理を進める。
FIG. 10 is a flowchart for explaining the operation of the correction amount generation unit 9 in the present embodiment.
In S201, the correction amount generation unit 9 checks whether the reliability MTr and the correction amount McorCalc corresponding to the same optical parameter as the current one are stored in the
S202において補正量生成部9は、色収差評価部6からの信頼度Trと補正量算出部7からの補正量corCalcとを、その時の光学パラメータと対応付けてメモリ13に、システム制御部12を通じて保存し、処理をS207へ進める。一方、S203において補正量生成部9は、メモリ13から現在の光学パラメータの組み合わせに対応した信頼度MTrと補正量McorClacをシステム制御部12を通じて読み出し、処理をS204へ進める。
In S202, the correction amount generation unit 9 stores the reliability Tr from the chromatic
S204において補正量生成部9は、メモリ13から読み出した信頼度MTrと、色収差評価部6が算出した信頼度Trとを比較し、信頼度MTrの方が高い場合にはS205へ、信頼度Trの方が高い場合にはS206へ処理を進める。
In S204, the correction amount generation unit 9 compares the reliability MTr read from the
S206において補正量生成部9は、メモリ13に記憶されている、現在の光学パラメータの組み合わせに対応する信頼度MTrと補正量McorCalcを、色収差評価部6からの信頼度Trと補正量算出部7からの補正量corCalcで更新する。
In S206, the correction amount generation unit 9 stores the reliability MTr and the correction amount McorCalc corresponding to the current optical parameter combination stored in the
S207において補正量生成部9は、色収差評価部6からの信頼度Trと補正量補間部11からの信頼度DIを用いて、例えば図8に示したような特性に従って重みαを算出し処理をS208へ進める。S208において補正量生成部9は、S207で算出した重みαを用いて、上述の式(2)に従って補正量を求める。
In S207, the correction amount generation unit 9 uses the reliability Tr from the chromatic
一方、S205において補正量生成部9は、色収差評価部6からの信頼度Trの代わりにメモリ13からの信頼度MTrを用い、補正量補間部11からの信頼度DIとから重みαを算出する。S209においては、S205で算出した重みαと、メモリ13から読み出した補正量McorCalc、光学DB10に基づく補正量corDBとを上述の式(2)に適用して補正量を求める。
On the other hand, in S205, the correction amount generation unit 9 uses the reliability MTr from the
このように本実施形態では、画像から算出した信頼度と補正量を光学パラメータの組み合わせとともに保持しておき、その後、同じ光学パラメータの組み合わせとなった場合に利用可能とする。そのため、第1の実施形態の効果に加え、現在の画像から算出された補正量の信頼度が低い場合でも、過去に得られた信頼度の高い補正量を利用して精度の高い色収差補正を行うことができるという効果が実現できる。 As described above, in the present embodiment, the reliability and the correction amount calculated from the image are held together with the combination of the optical parameters, and can be used when the combination of the same optical parameters is obtained thereafter. Therefore, in addition to the effects of the first embodiment, even when the reliability of the correction amount calculated from the current image is low, highly accurate chromatic aberration correction is performed using the correction amount with high reliability obtained in the past. The effect that it can be performed is realizable.
なお、本実施形態では、現在の光学パラメータの組み合わせに対応する信頼度と補正量がメモリ13に保持されていない場合には、信頼度によらずメモリ13に記録する場合を説明した。しかし、メモリ13に保持されていない場合であっても、信頼度が所定レベルに達していない場合には記録しないようにすることで、メモリ13の容量を節約しながらも、精度の高い色収差補正を行うことができるようになる。
In the present embodiment, the case where the reliability and the correction amount corresponding to the current optical parameter combination are not stored in the
(第3の実施形態)
図11は、本発明の第3の実施形態における補正量生成部9の動作を説明するためのフローチャートである。本実施形態は補正量生成部9の動作を除き第2の実施形態と同様の撮像装置で実施可能であるため、撮像装置の構成に関する説明は省略する。
(Third embodiment)
FIG. 11 is a flowchart for explaining the operation of the correction amount generation unit 9 according to the third embodiment of the present invention. Since the present embodiment can be implemented by the same imaging apparatus as that of the second embodiment except for the operation of the correction amount generation unit 9, the description regarding the configuration of the imaging apparatus is omitted.
本実施形態は、第2の実施形態に対し、記憶容量が足りなくなった場合など、メモリ13内のデータの少なくとも一部を破棄する必要がある場合、メモリ13に記憶されているデータの精度を低くしないように破棄を行うための制御を付加したものである。
Compared to the second embodiment, the present embodiment increases the accuracy of the data stored in the
本実施形態における補正量生成部9の動作は、第2の実施形態で説明した図10のフローチャートにおけるS201とS202の間に、メモリ13の空き容量の判定と、空き容量が少ないと判断される場合に重要度の低いデータを破棄する処理を挿入したものである。従って、以下では、本実施形態に固有のS302,S303の処理についてのみ説明する。
The operation of the correction amount generation unit 9 in this embodiment is determined between the free space of the
S302において補正量生成部9は、メモリ13に新たに記憶できる容量があるかどうかシステム制御部12を通じて確認し、メモリ容量に余裕がある場合はS304へ、メモリ容量に余裕がない場合はS303へそれぞれ処理を進める。
In S302, the correction amount generation unit 9 checks whether there is a capacity that can be newly stored in the
S303において補正量生成部9は、後述する図12に示す動作によって破棄するデータの選択および破棄を行い、処理をS202へ進める。 In S303, the correction amount generation unit 9 selects and discards data to be discarded by an operation shown in FIG. 12 described later, and advances the process to S202.
次に、本実施形態の特徴となる、破棄するデータの選択および破棄処理について、図12のフローチャートを利用して説明する。 Next, selection of data to be discarded and discarding processing, which is a feature of the present embodiment, will be described with reference to the flowchart of FIG.
まず、S401において補正量生成部9は、光学DB10に記憶されているデータをメモリ13に保存されているデータと比較する。ここで、「データ」は、同一の光学パラメータの組み合わせに対応する1つ以上のデータ(1つ以上の補正量および信頼度)である。
First, in
S402で補正量生成部9は、光学DB10とメモリ13の両方に重複して保存されているデータの有無および数に応じて処理を分岐する。具体的には、補正量生成部9は、重複データが1つであればS403へ、重複データがない、または、複数ある場合にはS404へ処理を進める。
In S <b> 402, the correction amount generation unit 9 branches the process according to the presence / absence and number of data stored redundantly in both the
S403で補正量生成部9は、重複データのうち、メモリ13に保存されているものをシステム制御部12を通じて破棄(削除)する。
S404に補正量生成部9は、どのデータを破棄するか選択するため、メモリ13に保存されているデータに対応する光学パラメータと、光学DB10に記憶されているデータに対応する光学パラメータの差の大きさを調べる疎密調査を行う。
In step S <b> 403, the correction amount generation unit 9 discards (deletes) the duplicated data stored in the
In S <b> 404, the correction amount generation unit 9 selects which data to discard, so that the difference between the optical parameter corresponding to the data stored in the
メモリ13に保存されているデータのうち、光学DB10に記憶されているデータに対応する光学パラメータの組み合わせとの差が所定未満の光学パラメータの組み合わせに対応するデータの数が1つであれば、そのデータを補正量生成部9はS406で削除する。なお、重複データは、差が所定未満の光学パラメータの組み合わせに対応するデータに含まれる。
Of the data stored in the
一方、そのようなデータの数が複数ある場合、補正量生成部9はS407で、それら複数のデータを信頼度順にソートし、S408で、信頼度の最も低いデータを破棄する。 On the other hand, when there are a plurality of such data, the correction amount generation unit 9 sorts the plurality of data in order of reliability in S407, and discards the data with the lowest reliability in S408.
このように、本実施形態では、第2の実施形態の効果に加え、メモリ13に保持されているデータの一部を破棄する場合に、破棄の影響を抑制したデータの破棄を行うことができる。なお、本実施形態ではデータの重複や疎密、信頼度を考慮して、破棄するデータを選択したが、単に信頼度の低いものから順にデータを破棄しても良い。
As described above, in the present embodiment, in addition to the effects of the second embodiment, when a part of the data held in the
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (13)
予め記憶された、前記光学系の少なくとも絞り値に関する情報と物体距離に関する情報とを含む光学パラメータの離散的な組み合わせごとの補正量に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第1の補正量として算出する第1の補正量算出手段と、
前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、前記第1の補正量の信頼度である第1の信頼度を算出する第1の信頼度算出手段と、
前記画像に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第2の補正量として算出する第2の補正量算出手段と、
前記画像に基づいて、前記第2の補正量の信頼度である第2の信頼度を算出する第2の信頼度算出手段と、
前記第1の信頼度および前記第2の信頼度に基づく重みを用いて前記第1の補正量および前記第2の補正量を加重加算し、第3の補正量を生成する第3の補正量生成手段と、
前記第3の補正量を前記画像に適用して前記色収差補正を行う補正手段と、を有することを特徴とする画像処理装置。 An image processing apparatus that corrects chromatic aberration of an optical system used for capturing an image of a captured image,
Corresponds to a combination of optical parameters when the image is captured based on a correction amount for each discrete combination of optical parameters including information on at least the aperture value and information on an object distance stored in advance First correction amount calculating means for calculating a correction amount for the discrete image height as the first correction amount;
Based on a combination of optical parameters when the image is captured and a combination of optical parameters corresponding to the correction amount stored in advance, a first reliability that is a reliability of the first correction amount is calculated. First reliability calculation means for
A second correction amount calculating means for calculating a correction amount for a discrete image height corresponding to a combination of optical parameters when the image is captured based on the image as a second correction amount;
Second reliability calculation means for calculating a second reliability which is a reliability of the second correction amount based on the image;
A third correction amount that generates a third correction amount by weighted addition of the first correction amount and the second correction amount using weights based on the first reliability and the second reliability. Generating means;
An image processing apparatus comprising: correction means for applying the third correction amount to the image to perform the chromatic aberration correction.
前記第3の補正量生成手段が、前記記憶手段に、前記画像を撮像した際の光学パラメータの組み合わせと同じ光学パラメータの組み合わせに対応する前記第2の補正量および前記第2の信頼度が記憶されており、かつ、前記記憶手段に記憶されている前記第2の信頼度の方が前記第2の信頼度算出手段から取得した第2の信頼度よりも高い場合、前記記憶手段に記憶されている前記第2の補正量および前記第2の信頼度を用いて前記第3の補正量を算出することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。 Furthermore, it has a memory | storage means to memorize | store the said 2nd correction amount and said 2nd reliability with the combination of a corresponding optical parameter,
The third correction amount generation means stores in the storage means the second correction amount and the second reliability corresponding to the same optical parameter combination as the optical parameter combination when the image was captured. And when the second reliability stored in the storage means is higher than the second reliability acquired from the second reliability calculation means, the second reliability is stored in the storage means. 6. The image processing apparatus according to claim 1, wherein the third correction amount is calculated using the second correction amount and the second reliability.
前記光学系が結像する被写体像を撮像して前記画像を出力する撮像手段と、
請求項1から10のいずれか1項に記載の画像処理装置と、を有することを特徴とする撮像装置。 The optical system;
Imaging means for imaging a subject image formed by the optical system and outputting the image;
An image processing apparatus comprising: the image processing apparatus according to claim 1.
第1の補正量算出手段が、予め記憶された、前記光学系の少なくとも絞り値に関する情報と物体距離に関する情報とを含む光学パラメータの離散的な組み合わせごとの補正量に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第1の補正量として算出する第1の補正量算出工程と、
第1の信頼度算出手段が、前記画像を撮像した際の光学パラメータの組み合わせと、前記予め記憶された補正量に対応する光学パラメータの組み合わせとに基づいて、前記第1の補正量の信頼度である第1の信頼度を算出する第1の信頼度算出工程と、
第2の補正量算出手段が、前記画像に基づいて、前記画像を撮像した際の光学パラメータの組み合わせに対応する離散的な像高についての補正量を第2の補正量として算出する第2の補正量算出工程と、
第2の信頼度算出手段が、前記画像に基づいて、前記第2の補正量の信頼度である第2の信頼度を算出する第2の信頼度算出工程と、
第3の補正量算出手段が、前記第1の信頼度および前記第2の信頼度に基づく重みを用いて前記第1の補正量および前記第2の補正量を加重加算し、第3の補正量を生成する第3の補正量生成工程と、
補正手段が、前記第3の補正量を前記画像に適用して前記色収差補正を行う補正工程と、を有することを特徴とする画像処理方法。 An image processing method that is executed by an image processing apparatus that corrects chromatic aberration of an optical system used to capture an image of a captured image,
The first correction amount calculating means captures the image based on a correction amount for each discrete combination of optical parameters, which is stored in advance and includes at least information regarding the aperture value and information regarding the object distance. A first correction amount calculating step of calculating a correction amount for a discrete image height corresponding to a combination of optical parameters at the time as a first correction amount;
Based on the combination of the optical parameters when the first reliability calculation means captures the image and the combination of the optical parameters corresponding to the correction amount stored in advance, the reliability of the first correction amount A first reliability calculation step of calculating a first reliability that is:
Second correction amount calculation means calculates, based on the image, a correction amount for a discrete image height corresponding to a combination of optical parameters when the image is captured as a second correction amount. A correction amount calculating step;
A second reliability calculation step in which a second reliability calculation means calculates a second reliability which is a reliability of the second correction amount based on the image;
A third correction amount calculation means weights and adds the first correction amount and the second correction amount using a weight based on the first reliability and the second reliability, and a third correction A third correction amount generation step for generating an amount;
An image processing method, comprising: a correction step of correcting the chromatic aberration by applying the third correction amount to the image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021795A JP6105960B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013021795A JP6105960B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014154977A JP2014154977A (en) | 2014-08-25 |
JP6105960B2 true JP6105960B2 (en) | 2017-03-29 |
Family
ID=51576457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013021795A Active JP6105960B2 (en) | 2013-02-06 | 2013-02-06 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6105960B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016105568A (en) * | 2014-12-01 | 2016-06-09 | 株式会社ザクティ | Imaging apparatus |
US11212498B2 (en) * | 2018-12-11 | 2021-12-28 | Intel Corporation | Infrared crosstalk correction for hybrid RGB-IR sensors |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4740769B2 (en) * | 2006-03-02 | 2011-08-03 | 日本放送協会 | Image distortion correction device |
JP5517803B2 (en) * | 2010-07-14 | 2014-06-11 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
JP5822518B2 (en) * | 2011-04-26 | 2015-11-24 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
-
2013
- 2013-02-06 JP JP2013021795A patent/JP6105960B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014154977A (en) | 2014-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101313686B1 (en) | Image processing apparatus and method of controlling the same | |
JP5984493B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
JP5840008B2 (en) | Image processing apparatus, image processing method, and program | |
JP6308748B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US10389952B2 (en) | Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
JP5535053B2 (en) | Image processing apparatus and image processing method | |
JP2007066138A (en) | Image processor and image processing program | |
US8610801B2 (en) | Image processing apparatus including chromatic aberration correcting circuit and image processing method | |
JP5882789B2 (en) | Image processing apparatus, image processing method, and program | |
US8648936B2 (en) | Image processing apparatus and image processing method | |
JP4608436B2 (en) | Image shooting device | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP2015041900A (en) | Image processing device, its control method, and control program | |
JP6838918B2 (en) | Image data processing device and method | |
JP6153318B2 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
JP6105960B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP5353945B2 (en) | Image processing apparatus, image processing program, and electronic camera | |
US10861194B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2018018425A (en) | Image processing device and image processing method | |
JP5900273B2 (en) | Focus evaluation value generation device, focus evaluation value generation method, and focus evaluation value generation program | |
US9635260B2 (en) | Image processing apparatus, image pickup apparatus, and image processing method | |
CN110784642B (en) | Image processing apparatus, control method thereof, storage medium, and imaging apparatus | |
JP2019049616A (en) | Image processing device, imaging device and method for controlling image processing device | |
JP5334265B2 (en) | Chromatic aberration / image distortion correcting apparatus and program therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6105960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |