JP5047531B2

JP5047531B2 - 画像補間方法及びプログラム

Info

Publication number: JP5047531B2
Application number: JP2006110603A
Authority: JP
Inventors: 雅浩上野; 豊國田; 敬二田中
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-04-13
Filing date: 2006-04-13
Publication date: 2012-10-10
Anticipated expiration: 2026-04-13
Also published as: JP2007288304A

Description

本発明は、画像補間方法に係り、特に、１画素において、ＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから、１画素においてＲＧＢフルカラー画像を作成する画像補間方法に関する。

従来から１画素において、ＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから、１画素において、ＲＧＢフルカラー画像を作成する画像補間方法が知られている。（下記、非特許文献１）
以下、従来の画像補間方法について説明する。
図１は、１画素においてＲかＧかＢのいずれかの値を出力する単一受光チップを持つカメラから出力される画像データの一例について説明したものである。
図１（ａ）に示すような、４画素のＲ、Ｇ、Ｂの配列パタンが基本となる。図中のＲ、Ｇｒ、Ｇｂ、Ｂはそれぞれ、赤、緑、緑、青の強度を示す画素であり、Ｇｒは赤と緑だけが存在する行にある緑の画素、Ｇｂは青と緑だけが存在する行にある緑の画素である。図１（ａ）の基本パタンをタイル状に並べたものが（ｂ）であり、このようなＲ、Ｇ、Ｂの配列で画像データがカメラから出力される。
図２−Ｒ−１は、図１に示すＧｒ画素の位置においてＲ成分を補間で得ようとした場合に、そのＧｒ画素の周りのＲの画素がどのように配置されているかを示した図である。
補間でＲを求めようとしている画素をＲ_Ｇｒ画素と呼ぶこととする。四角は各画素を示しており、太線で示した四角は補間画素であるＲ_Ｇｒ画素を示している。四角の中の（）はＲ_Ｇｒ画素の座標を（ｉ，ｊ）とした場合の座標を示している。また、四角の中のＲはＲ成分を保持した画素を示している。
Ｒ_Ｇｒ画素のＲ成分は、下記（１）式に示す畳み込みの式に従って得ることができる。

ここで、Ｒ_Ｇｒ（ｉ，ｊ）は、Ｒ_Ｇｒ画素のＲ成分の画素値、Ｒ（ｉ，ｊ）は、（ｉ，ｊ）位置のＲの画素値を表す。Ｒ成分のない画素においてはＲ（ｉ，ｊ）=０とする。
非特許文献１に記載のバイリニア法を用いた補間方法では、ｇ（ｕ，ｖ）は、下記（２）式のようになる。

ここで、Ｔ_ｘ、Ｔ_ｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２画素間隔にＲ成分が位置しているので、Ｔ_ｘ=Ｔ_ｙ=２となる。
具体的な式は、図３の（ａ）の（ａ−１）に示すように、Ｒ_Ｇｒ画素に隣接するＲの画素の画素値（図３では、Ｒ１とＲ２と表記）のみで計算され、補間の計算は同図右に記載されているような計算方法で計算される。
非特許文献１記載のキュービック畳み込み法を用いた補間方法では、ｇ（ｕ，ｖ）は、下記（３）式のようになる。

ここで、Ｔ_ｘ、Ｔ_ｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２画素間隔にＲ成分が位置しているので、Ｔ_ｘ=Ｔ_ｙ=２となる。
具体的な式は、図４（ａ）の（ａ−１）に示すような画素範囲で計算され、補間の計算は同図右に記載されているような計算方法で計算される。
ここで、ｈ（ｕ）；ｕ=０，０．５，１，１．５の値は以下の通りである。
ｈ（０）＝１
ｈ（０．５）＝５／８＝０．６２５
ｈ（１）＝０
ｈ（１．５）＝−１／８＝−０．１２５
・・・・・・・・・・・・・・・・・・・（４）

図１に示すＧｂの位置のＲの補間画素値Ｒ_Ｇｂ（ｉ，ｊ）、図１に示すＢの位置のＲの補間画素値Ｒ_Ｂ（ｉ，ｊ）と、図１に示すＧｂの位置のＢの補間画素値Ｂ_Ｇｂ（ｉ，ｊ）、図１に示すＧｒの位置のＢの補間画素値Ｂ_Ｇｒ（ｉ，ｊ）、図１に示すＲの位置のＢの補間画素値Ｂ_Ｒ（ｉ，ｊ）についても、それぞれの画素配置を図２−Ｒ−２、図２−Ｒ−３、図２−Ｂ−１、図２−Ｂ−２、図２−Ｂ−３に示す。
これらについても、補間画素値Ｒ_Ｇｒ（ｉ，ｊ）を求めたときと同様に、（１）式、（２）式、（３）式、（４）式を使用して、バイリニア法を用いた場合の補間方法と、キュービック畳み込み法を用いた場合の補間方法が得られる。
バイリニア法を用いた場合の具体的な補間方法については、図３の（ａ）の（ａ−２）、（ａ−３）、図３の（ｃ）の（ｃ−１）、（ｃ−２）、（ｃ−３）に示す。
また、キュービック畳み込み法を用いた場合の具体的な補間方法については、図４（ａ）の（ａ−２）、（ａ−３）、図４（ｃ）の（ｃ−１）、（ｃ−２）、（ｃ−３）に示す。
Ｇの補間方法については、若干異なり、以下、Ｇの補間方法について説明する。
図１に示すＲの位置の補間画素値Ｇ_Ｒ（ｉ，ｊ）、図１に示すＢの位置の補間画素値Ｇ_Ｂ（ｉ，ｊ）の画素配置は、図２−Ｇ−１、図２−Ｇ−２に示す通りであり、Ｇの画素配置が市松模様状に配置されている。
Ｒ、Ｂの補間に用いた（１）式はＧの補間では同様な式となるが、バイリニア法を用いた補間方法の（２）式は、下記（５）式となる。

ここでＴ_ｘ、Ｔ_ｙは、それぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２^１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２^１／２で換算することにより、Ｔ_ｘ=Ｔ_ｙ=２^１／２×２^１／２=２となる。
具体的には、図３の（ｂ）の（ｂ−１）、（ｂ−２）に示すように、図１に示すＧ_Ｒ、Ｇ_Ｂ画素に隣接するＧの画素の画素値Ｇ１、Ｇ２、Ｇ３、Ｇ４のみでＧ_Ｒ（ｉ，ｊ）、Ｇ_Ｂ（ｉ，ｊ）は計算される。
また、キュービック畳み込み法を用いた補間方法の（３）式、（４）式は、下記（６）式、（７）式となる。

ここでＴ_ｘ、Ｔ_ｙはそれぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２^１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２^１／２で換算することにより、Ｔ_ｘ=Ｔ_ｙ=２^１／２×２^１／２=２となる。
具体的には、図４（ｂ）の（ｂ−１）、（ｂ−２）に示すような画素範囲で計算され、補間の計算は同図右に記載されているような計算方法で計算される。

なお、本願発明に関連する先行技術文献としては以下のものがある。
Rifman, S.S. et.al.,"Evaluation of Digital Correction Techniques for ERTS Images-Final Report", Report 20634-6003-TU-00 TRW System, California, July 1974.

しかしながら、前述の従来方法では、撮像された物体のエッジ近辺の画像において、バイリニア法を用いた補間方法では、本来直線となるエッジがジグザグなエッジとなり、また、キュービック畳み込み方法を用いた場合の補間方法では、本来滑らかとなる平坦部分が、階調の凹凸が激しくなる、という欠点があった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、撮像された物体のエッジ近辺の画像において、高い忠実度を持つ画像補間方法を提供することにある。
また、本発明の他の目的は、前述の画像補間方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の目的を達成するために、本発明の画像補間方法は、１行目が左から緑、赤、２行目が左から青、緑の強度を示す画素からなる２行２列の４画素を基本パタンとし、基本パタンで構成される画像を補間する画像補間方法であって、補間したい色の元の画素の強度をＣｂ、補間後の当該色の補間値をＣａ、画像データのサンプリング間隔で零点が置かれるＳｉｎｃ関数をＳｉｎｃ（ｘ）、ウィンドウ幅の最大値が１となる凸型の窓関数をＷｉｎｄｏｗ（ｘ）、前記ウィンドウ幅のパラメータをαとするとき、下記（１）式、および下記関係式を用いて画像を補間することを特徴とする。

但し、ｈ（ｘ）＝Ｗｉｎｄｏｗ（ｘ）＊Ｓｉｎｃ（ｘ）
Ｗｉｎｄｏｗ（ｘ）＝（Ｃｏｓ［παｘ］）／（１−４［αｘ］ ^２）
Ｓｉｎｃ（ｘ）＝Ｓｉｎ[πｘ]／［πｘ］
赤と青の画素の補間においては、ｇ（ｕ、ｖ）＝ｈ（ｕ／２）＊ｈ（ｖ／２）、
緑の画素の補間においては、ｇ（ｕ、ｖ）＝ｈ（（ｕ＋ｖ）／２）＊ｈ（（ｕ−ｖ）／２）
また、本発明は、前述の画像補間方法をコンピュータに実行させるためのプログラムである。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、撮像された物体のエッジ近辺の画像において、高い忠実度を持って画像を補間することが可能となる。

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
前述したように、図１（ｂ）に示す、Ｒ、Ｇ、Ｂの配列で画像データがカメラから出力される。
本実施例でも、図２−Ｒ−１に示す、補間でＲを求めようとしているＲ_Ｇｒ画素（即ち、図１に示すＧｒ画素の位置において補間でＲを求めようとしている画素）のＲ成分は、下記（８）の畳み込みの式に従って得ることができる。

ここで、Ｒ_Ｇｒ（ｉ，ｊ）は、Ｒ_Ｇｒ画素のＲ成分の画素値、Ｒ（ｉ，ｊ）は（ｉ，ｊ）位置のＲの画素値を表す。Ｒ成分のない画素においてはＲ（ｉ，ｊ）=０とする。
また、ｇ（ｕ，ｖ）は、Ｓｉｎｃ関数に窓関数をかけた関数であり、例えば、下記（９）式のようなものが考えられる。

ここで、Ｔ_ｘ、Ｔ_ｙは、それぞれｕ、ｖと同じ方向のＲ成分のＮｙｑｕｉｓｔ間隔であり、この場合は、２画素間隔にＲ成分が位置しているので、Ｔ_ｘ=Ｔ_ｙ=２となる。また、パラメタαは、０〜１の実数であり、パラメタαが０では、ウィンドウ関数Ｗｉｎｄｏｗ（ｘ）のウィンドウ幅が最大の１となり、パラメタαが１では最小となる。

図１に示すＧｂの位置のＲの補間画素値Ｒ_Ｇｂ（ｉ，ｊ）、図１に示すＢの位置のＲの補間画素値Ｒ_Ｂ（ｉ，ｊ）と、図１に示すＧ_ｂの位置のＢの補間画素値Ｂ_Ｇｂ（ｉ，ｊ）、図１に示すＧｒの位置のＢの補間画素値Ｂ_Ｇｒ（ｉ，ｊ）、図１に示すＲの位置のＢの補間画素値Ｂ_Ｒ（ｉ，ｊ）についても、補間画素値Ｒ_Ｇｒ（ｉ，ｊ）を求めたときと同様に、（８）式、（９）を使用して補間される。
Ｇの補間方法については、若干異なり、以下、Ｇの補間方法に説明する。
Ｒ、Ｂの補間に用いた（８）式はＧの補間では同様な式となるが、補間方法の（９）式は、下記（１０）式とされる。

ここでＴ_ｘ、Ｔ_ｙは、それぞれｕ、ｖの方向から−４５°回転した方向のＧ成分のＮｙｑｕｉｓｔ間隔であり、この場合は２^１／２画素間隔にＧ成分が位置し、これを、ｕ−ｖ座標系の長さとｘ−ｙ座標系の長さの比１：２^１／２で換算することにより、Ｔ_ｘ=Ｔ_ｙ=２^１／２×２^１／２=２となる。また、パラメタαは０〜１の実数であり、パラメタαが０ではウィンドウ幅が最大の１となり、パラメタαが１では最小となる。

ここで、パラメタαが０（α＝０）の場合は、Ｓｉｎｃ関数を３次間数で近似したキュービック畳み込み法を用いた補間方法とほぼ同等となり、また、パラメタαが１（α＝１）の場合はバイリニア法を用いた補間方法と同値になる。
即ち、パラメタαが１（α＝１）の時で、ｘが１／２（ｘ＝１／２）とき、Ｗｉｎｄｏｗ（ｘ）は、下記（１１）式に示すように、π／４となり、また、Ｓｉｎｃ（ｘ）は２／πとなるため、ｈ（１／２）は１／２となるので、バイリニア法を用いた補間方法と一致する。
したがって、パラメタαの値を変化させると、バイリニア法を用いる方法からキュービック畳み込み法を用いる方法まで、補間方法の性質が連続的に変化する。
特に、パラメタαを０．５（α＝０．５）にすると、バイリニア法とキュービック畳み込み法の両方の欠点を緩和した補間方法となる。

このように、本実施例では、窓関数のパラメタαを変化させることにより、原点において窓関数の値が１であり、Ｎｙｑｕｉｓｔ間隔の１／２の位置で窓関数の値が１／２であり、ｎ／２（ｎ＝±２，３…）において０となるようなバイリニア法による補間を実現する窓関数から、全領域において１となるようなキュービック畳み込み法による補間を実現する窓関数までを、連続的に変化させることができる。
図５は、本実施例の画像補間方法を処理手順を示すフローチャートである。
図５（ａ）は補間結果をユーザが確認しない場合の処理手順であり、図５（ｂ）は補間結果をユーザが確認する場合の処理手順である。
最初に、窓関数のパラメタαを設定し（ステップ１０１）、次に、Ｒ、Ｇ、Ｂそれぞれの成分に対する補間を行う（ステップ１０２）。
図５（ａ）では、その後すぐに終了するが、図５（ｂ）では、エッジ付近の画像をユーザが確認し（ステップ１０３）、良ければ終了し、悪ければ、αを設定し直す。

以上説明したように、本実施例では、Ｒ、Ｇ、Ｂ成分の補間において、元の画像と畳み込みを行う関数がＮｙｑｕｉｓｔ間隔で０となるＳｉｎｃ関数を含んでいるため、元のＲ、Ｇ、Ｂ成分を保持したまま、補間できるという利点がある。
また、元の画像と畳み込みを行う関数が、パラメタαによりウィンドウ幅が連続的に変えられるため、補間方法の性質を連続的に変化させることができ、再生像におけるエッジ付近の忠実度を画像の性質に応じて選ぶことができるという利点がある。
また、補間方法の性質を、バイリニア法を用いた補間方法からキュービック畳み込み法による補間方法まで連続的に変化させることができるので、再生像におけるエッジ付近の忠実度を画像の性質に応じて選ぶことができるという利点がある。
なお、前述の画像補間方法は、コンピュータに実行させることも可能であり、その場合に、前述の画像補間方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

カメラ撮像画像のカラー画像の画素配置パタンを示す図である。図１に示すＧｒ画素の位置でＲ成分を補間する場合の補間画素Ｒ_Ｇｒとその近傍のＲ画素の配置を示す図である。図１に示すＧｂ画素の位置でＲ成分を補間する場合の補間画素Ｒ_Ｇｂとその近傍のＲ画素の配置を示す図である。図１に示すＢ画素の位置でＲ成分を補間する場合の補間画素Ｒ_Ｂとその近傍のＲ画素の配置を示す図である。図１に示すＲ画素の位置でＧ成分を補間する場合の補間画素Ｇ_Ｒとその近傍のＧ画素の配置を示す図である。図１に示すＢ画素の位置でＧ成分を補間する場合の補間画素Ｇ_Ｂとその近傍のＧ画素の配置を示す図である。図１に示すＧｂ画素の位置でＢ成分を補間する場合の補間画素Ｂ_Ｇｂとその近傍のＢ画素の配置を示す図である。図１に示すＧｒ画素の位置でＢ成分を補間する場合の補間画素Ｂ_Ｇｒとその近傍のＢ画素の配置を示す図である。図１に示すＲ画素の位置でＢ成分を補間する場合の補間画素Ｂ_Ｒとその近傍のＢ画素の配置を示す図である。バイリニア法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。Ｒ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。Ｇ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。Ｂ画素について、キュービック畳み込み法を用いた補間方法で考慮する画素パタンと計算方法を示す図である。本発明の実施例の画像補間方法を処理手順を示すフローチャートである。

Claims

１行目が左から緑、赤、２行目が左から青、緑の強度を示す画素からなる２行２列の４画素を基本パタンとし、基本パタンで構成される画像を補間する画像補間方法であって、
補間したい色の元の画素の強度をＣｂ、補間後の当該色の補間値をＣａ、画像データのサンプリング間隔で零点が置かれるＳｉｎｃ関数をＳｉｎｃ（ｘ）、ウィンドウ幅の最大値が１となる凸型の窓関数をＷｉｎｄｏｗ（ｘ）、前記ウィンドウ幅のパラメータをαとするとき、下記（１）式、および下記関係式を用いて画像を補間することを特徴とする画像補間方法。

但し、ｈ（ｘ）＝Ｗｉｎｄｏｗ（ｘ）＊Ｓｉｎｃ（ｘ）
Ｗｉｎｄｏｗ（ｘ）＝（Ｃｏｓ［παｘ］）／（１−４［αｘ］ ^２）
Ｓｉｎｃ（ｘ）＝Ｓｉｎ[πｘ]／［πｘ］
赤と青の画素の補間においては、ｇ（ｕ、ｖ）＝ｈ（ｕ／２）＊ｈ（ｖ／２）、
緑の画素の補間においては、ｇ（ｕ、ｖ）＝ｈ（（ｕ＋ｖ）／２）＊ｈ（（ｕ−ｖ）／２）
請求項１に記載の画像補間方法をコンピュータに実行させるためのプログラム。