JP4805294B2 - デジタル画像の画像解像度を低減するカラービニング - Google Patents

デジタル画像の画像解像度を低減するカラービニング Download PDF

Info

Publication number
JP4805294B2
JP4805294B2 JP2008044741A JP2008044741A JP4805294B2 JP 4805294 B2 JP4805294 B2 JP 4805294B2 JP 2008044741 A JP2008044741 A JP 2008044741A JP 2008044741 A JP2008044741 A JP 2008044741A JP 4805294 B2 JP4805294 B2 JP 4805294B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
value
square
macropixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008044741A
Other languages
English (en)
Other versions
JP2009010923A (ja
JP2009010923A5 (ja
Inventor
アンデルセン トマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Phase One AS
Original Assignee
Phase One AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/711,361 external-priority patent/US7929807B2/en
Priority claimed from EP07103154A external-priority patent/EP1887515B1/en
Application filed by Phase One AS filed Critical Phase One AS
Publication of JP2009010923A publication Critical patent/JP2009010923A/ja
Publication of JP2009010923A5 publication Critical patent/JP2009010923A5/ja
Application granted granted Critical
Publication of JP4805294B2 publication Critical patent/JP4805294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

発明は画像処理に関し、特にデジタル画像のカラーピクセルのカラービニングに関する。
CCD画像センサの技術は常に向上して画像センサ解像度の増加を導いている。今日、高性能カメラは10−20メガピクセルの解像度のセンサまたはより高い解像度を備えている。携帯電話の低性能カメラは3メガピクセルセンサまたはより高い解像度を使う。将来の高性能と低性能のカメラは、より高いピクセル解像度の画像センサを使うという傾向をほぼ間違いなく追従するであろう。
増加するピクセル解像度は処理して一つのデバイスから別のデバイスに、例えば携帯電話からコンピュータまたはインターネットへ、転送すべき画像データの量の増加を生じる。このため、増加する画像データ量に対処するために、データプロセッサや電子メモリはより高い速度や容量の要求を満たさなければならない。
カメラは静止画像録画とビデオ録画の両方に用いてもよい。ビデオ録画は典型的に、ビデオ画像の読み出し速度とメモリ容量の要求を満たすために通常のセンサ解像度より低いピクセル解像度を要求する。このため、画像センサの解像度をビデオ録画用にスケールを下げる必要がある。
画像センサの増加するピクセル解像度に関する他の問題は、センサの光に対する感度とセンサのダイナミックレンジに関するものである。画像センサの光に対する感度を上げるためには、例えば低い光レベル条件のもとでは、画像センサのピクセル解像度は、いくつかのピクセル同士をビニング(binning)することによって有益に下げてもよい。いくつかのピクセル同士をビニングすることによって一つのピクセルの受光エリアは増加し、従ってセンサの光感度も増加する。
画像センサによって生成される画像データ量は、画像センサからピクセルの一部だけを読み出すことによって、例えば2つか3つおきのピクセルだけを読み出して残りをスキップすることによって、減らすことができる。しかしながら、そのような方法では悪い画質になってしまう。
このため、これは画質をひどく低下させることなく画像データ量を減らす問題と見ることもできる。
US特許出願第2006/0203113号は、ピクセルビニングによってピクセル情報のサイズを下げる方法を開示している。一例によると4つの(2×2)ピクセルがスキップされて加算され、ピクセル情報の量は1/4の割合で圧縮されると記載されている。まず、第1列の第1と第3行と第3列の第1と第3行の同じカラーフィルタの全てのピクセル情報、この例ではGの全てのピクセル情報、が加算されて1つのピクセルの情報として出力される。次に、第1列の第2と第4行と第3列の第2と第4行の同じカラーフィルタの全てのピクセル情報、この例ではBの全てのピクセル情報、が加算されて1つのピクセルの情報として出力される。そして、第1列の第5と第7行と第3列の第5と第7行の同じカラーフィルタの全てのピクセル情報、この例ではGの全てのピクセル情報、が加算されて1つのピクセルの情報として出力される。同じ操作が繰り返されて読み出すピクセルが最終行または最終行に近い行に達すると、次に第2列の第1と第3行と第4列の第1と第3行の同じカラーフィルタの全てのピクセル情報、この例ではRの全てのピクセル情報、が加算されて1つのピクセルの情報として出力される。
このため、発明は好ましくは、上述した問題の一つ以上を単独でまたはいかなる組み合わせでも緩和し、軽減しまたは除去することを求める。特に、ビニングされたピクセルの光学的中心が画像上に均等に分布するように画像のピクセル同士をビニングすることによってデジタル画像の解像度を低減する方法を提供することは本発明の一つの目的と見ることができる。
この目的といくつかの他の目的は、発明の第1の側面においては、デジタルカラー画像の解像度を低減する方法であって、デジタルカラー画像は少なくとも3つの異なる色のカラーマスク内に配列されたピクセルからなり、ピクセルは第1のピクセル、第2のピクセル、第3のピクセル、第4のピクセルからなり、
− カラーマスクを使ってデジタルカラー画像を記録し、
− 第1の正方形のアウトラインであるn×nの第1のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第1のマクロピクセルの値を生成し、
− 第1の正方形に対して45度回転され水平にシフトされた第2の正方形のアウトラインであるn×nの第2のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第2のマクロピクセルの値を生成し、
− 第1の正方形に対して45度回転され垂直にシフトされた第3の正方形のアウトラインであるn×nの第3のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第3のマクロピクセルの値を生成し、
第1、第2、第3のマクロピクセルは各々、マクロピクセルの値を生成するのに用いたピクセルの相対的位置によって決められる光学的中心を有し、
第1、第2、第3のマクロピクセルの値を生成するのに用いたピクセルは、第1、第2、第3のマクロピクセル各々の光学的中心の位置が第1、第2、第3のマクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一のグリッドを形成するようになっており、
− 第1の正方形に対して同一方向を向き対角線状にシフトされた第4の正方形のアウトラインであるn×nの第4のピクセルからM個のピクセルを選択し、但しMは0より大きくn×n以下であって、M個のピクセルの値を用いて第4のマクロピクセルの値を生成する、
ことからなるデジタルカラー画像の解像度を低減する方法を提供することにより得ることが出来る。
発明は、それだけではないが特に、ピクセル同士をビニングすることでデジタル画像のピクセル解像度を低減し、それによって減らされたピクセル数を有するデジタル画像を得ることに有利である。
第1、第2、第3のピクセルを選択することによってマクロピクセルを生成することによって対応する第1、第2、第3のマクロピクセルの各々の光学的中心がデジタル画像上に均等に分布するようにすることは発明の第1の側面の利点となり得る。なぜなら、これはピクセルビニングによってより影響を受けていないサイズの下げられた画像の画質を提供し得るからである。
第1の正方形に対して同一方向を向き対角線状にシフトされた第4の正方形のアウトラインであるn×nの第4のピクセルからM個のピクセルを選択することによって第4のマクロピクセルを生成する、但しMは0より大きくn×n以下である、ことも発明の第1の側面の利点となり得る。第4のピクセルのn×nのピクセルからM個のピクセルを選択することによって、全てのマクロピクセルの光学的中心が均等に分布するまたはほぼ均等に分布することを達成でき得る。光学的中心均等なまたはほぼ均等な分布を提供することにより、ピクセルのクラスター化が避けられるので、サイズの下げられた画像の画質はピクセルビニングによってより影響を受けなくなる。
デジタル画像の解像度を低減する方法は、画質をひどく低下させることなくカラービニングを使って画像のサイズを下げることによって元の画像の画像ピクセルの量を低減する方法を提供することは、発明の第1の側面の他の利点となり得る。
デジタル画像の解像度を低減する方法は、元の画像に対してサイズを下げたデジタル画像の詳細を提示することを改善することは、発明の第1の側面の更なる利点となり得る。
更に、方法がより少ないアライアスを生成することは、発明の第1の側面の他の利点となり得る。
サイズを下げたデジタル画像のピクセルレイアウトが元の画像のピクセルレイアウトと同一またはほぼ同一であることも発明の第1の側面の利点となり得る。
選択されたMピクセルの値Mとは独立に、第1、第2、第3のマクロピクセルの光学的中心が常に均等に分布することは、発明の第1の側面の他の利点となり得る。
一実施形態において、デジタルカラー画像の解像度を低減する方法は、M個のピクセルを選択し、その結果生じる光学的中心は、均一なグリッドに対して距離Dずれており、距離DはMとM個のピクセルを囲んでいる第4の正方形に対するM個のピクセルの位置の両方に依存して、
− n×nが偶数でない整数のとき、M=n×nはD=0という結果になり、
− n×nが偶数の整数のとき、Mのいくつかの値について、M=n×nはD>0という結果になり、M<n×nはD=0という結果になる、ようになっていることからなる。
よって、n×nが偶数でない数のとき、距離Dが0なので、n×n全てのピクセルの選択は全ての光学的中心の均等な分布を提供し得る。n×nが偶数の数のとき、光学的中心の均等な分布を提供するような数Mのピクセルを選択することは、その選択について距離Dが0であるから、可能となり得る。また、n×nが偶数の数のとき、M個のピクセルの他の選択、例えばn×n全てのピクセルの選択、はD>0という結果になり得る。
一般に、0である距離Dを得るための数Mの選び方には異なる可能性があり得る。全ての光学的中心の均等に分布するように数M、例えばM=1,を選ぶことが常に可能であることが有利であり得る。もし距離Dが0とならないようにMが選ばれたときには、距離Dは画質をひどく低下させないのに十分なほど小さいことが別に有利であり得る。
一つの特定の実施形態では、距離DはMと第4の正方形に対するM個のピクセルの位置の両方に依存して、n×n=4のとき、M=1はD=0、M>1はD>0という結果になるようになっている。よって、特に4つのピクセルが第4の正方形のアウトラインである時、4つのピクセルのうちの1つのピクセルの選択は、全てのマクロピクセルの全ての光学的中心の均等な分布を提供し得る。
別の特定の実施形態では、距離DはMと第4の正方形に対するM個のピクセルの位置の両方に依存して、n×n=16のとき、M=1とM=9はD=0という結果になるようになっている。よって、特に16個のピクセルが第4の正方形のアウトラインである時、16個のピクセルのうちの1つのピクセルまたは9個のピクセルの選択は、全てのマクロピクセルの全ての光学的中心の均等な分布を提供し得る。
このため、n×nが偶数でない数のときはいつでも、全ての光学的中心は均等に分布し、n×nが偶数の数のときは、選択されたピクセルのいくつかの数Mについて光学的中心は均等に分布する。よって、数n×nが偶数であっても偶数でなくてもn×nの値とは独立に、全てのマクロピクセルの光学的中心の均等な分布を得ることが可能となり得る。
デジタルカラー画像の解像度を低減する方法の一実施形態では、第2の正方形は第1の正方形と重なり、第3の正方形は第1の正方形と重なり、第4の正方形は第1、第2、第3の正方形のひとつ以上と重なる。
デジタルカラー画像の解像度を低減する方法の更なる実施形態では、n×n=4、M=1であって、方法は、
− 1個の第4のピクセルを選択し、その1個のピクセルの値を用いて第4のマクロピクセルの値を生成し、選択されたピクセルとその結果生じる光学的中心は、均一なグリッドに対して距離Dが0で、残りの3つの第4のピクセルは無視されることからなる。
このため、1個の第4のピクセル、例えば1個の青ピクセル、を選択し、残りの3つの青ピクセルを無視することにより、全てのマクロピクセルの光学的中心が均等に分布し得る。
デジタルカラー画像の解像度を低減する方法の別の実施形態では、n×n=4、M=4であって、方法は、
− 4個の第4のピクセルを選択し、その4個のピクセルの値を用いて第4のマクロピクセルの値を生成し、選択されたピクセルは均一なグリッドに対して距離Dを有する光学的中心を提供することからなる。
このため、4個の第4のピクセル、例えば4個の青ピクセル、を選択することにより、赤と緑のマクロピクセルの光学的中心が均等に分布し得るとともに、青のマクロピクセルの光学的中心は他のマクロピクセルの光学的中心に対して距離Dずれているようにし得る。
デジタルカラー画像の解像度を低減する方法の更に別の実施形態では、n×n=4、M=3であって、方法は、
− 均一なグリッドに対して距離Dが0の1個の第4のピクセルを選択し、最初に選択した1個の第4のピクセルに最も近い2個の第4のピクセルを選択し、その3個の選択した第4のピクセルを用いて第4のマクロピクセルの値を生成し、選択されたピクセルは均一なグリッドに対して削減された距離を有する光学的中心を提供し、残り1つの第4のピクセルは無視されることからなる。
このため、3個の第4のピクセル、例えば3個の青ピクセル、を選択することにより、赤と緑のマクロピクセルの光学的中心が均等に分布し得るとともに、青のマクロピクセルの光学的中心は他のマクロピクセルの光学的中心に対して削減された距離Dを有するようにし得る。
第2の側面において発明は、デジタルカラー画像の解像度を水平と垂直の両方向にファクター2で低減する方法であって、デジタルカラー画像は16個のピクセルの複数セットに配置され、4つの第1のピクセル、4つの第2のピクセル、4つの第3のピクセル、4つの第4のピクセルからなる各セットが、第1のマクロピクセル、第2のマクロピクセル、第3のマクロピクセル、第4のマクロピクセルからなる4つのマクロピクセルの値を生成するピクセルの集まりを構成し、
カラーマスクを使ってデジタルカラー画像を記録し、
16ピクセルの各セットについて、
− 4つの第1のピクセルを選択し、それら4つのピクセルの値を用いて第1のマクロピクセルの値を生成し、
− 4つの第2のピクセルを選択し、それら4つのピクセルの値を用いて第2のマクロピクセルの値を生成し、
− 4つの第3のピクセルを選択し、それら4つのピクセルの値を用いて第3のマクロピクセルの値を生成し、
第1、第2、第3のマクロピクセルは各々、マクロピクセルの値を生成するのに用いたピクセルの相対的位置によって決められる光学的中心を有し、
第1、第2、第3のマクロピクセルの値を生成するのに用いたピクセルは、第1、第2、第3のマクロピクセル各々の光学的中心の位置が第1、第2、第3のマクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一のグリッドを形成するようになっており、
第4のマクロピクセルの値を、
− 1個の第4のピクセルを選択し、その1個のピクセルの値を用いて第4のマクロピクセルの値を生成し、選択されたピクセルは均一なグリッドに対して距離が0の光学的中心を提供し、残りの3つの第4のピクセルは無視する、または
− 4個の第4のピクセルを選択し、その4個のピクセルの値を用いて第4のマクロピクセルの値を生成し、選択されたピクセルは均一なグリッドに対して距離の光学的中心を提供する、または
− 均一なグリッドに対して距離が0の1個の第4のピクセルを選択し、最初に選択した1個の第4のピクセルに最も近い2個の第4のピクセルを選択し、その3個の選択した第4のピクセルを用いて第4のマクロピクセルの値を生成し、選択されたピクセルは均一なグリッドに対して削減された距離を有する光学的中心を提供し、残り1つの第4のピクセルは無視する、
のいずれかを使って生成する
ことからなるデジタルカラー画像の解像度を水平と垂直の両方向にファクター2で低減する方法に関する。
このため、発明の第2の側面は、2×2カラービニングの場合のデジタルカラー画像の解像度を水平と垂直の両方向にファクター2で低減する方法を記載する。
デジタルカラー画像の解像度を低減する方法の一実施形態では、カラーマスクは、一つの赤ピクセル、2つの緑ピクセル,一つの青ピクセルからなるBayerマスクであっても良い。
デジタルカラー画像の解像度を低減する方法の一実施形態では、第1、第2、第3、第4のピクセルそれぞれの選択されたピクセルの値は、第1、第2、第3、第4のマクロピクセルそれぞれの値を生成するために加算されても良い。
デジタルカラー画像の解像度を低減する方法の他の実施形態では、第1、第2、第3、第4のピクセルそれぞれの選択されたピクセルの値は、第1、第2、第3、第4のマクロピクセルそれぞれの値を生成するために平均されても良い。
第3の側面において発明は、デジタルカラー画像の解像度を低減するように構成されたシステムであって、デジタルカラー画像は少なくとも3つの異なる色のカラーマスク内に配列されたピクセルからなり、ピクセルは第1のピクセル、第2のピクセル、第3のピクセル、第4のピクセルからなり、システムは、
− 第1の正方形のアウトラインであるn×nの第1のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第1のマクロピクセルの値を生成し、
− 第1の正方形に対して45度回転され水平にシフトされた第2の正方形のアウトラインであるn×nの第2のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第2のマクロピクセルの値を生成し、
− 第1の正方形に対して45度回転され垂直にシフトされた第3の正方形のアウトラインであるn×nの第3のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第3のマクロピクセルの値を生成する選択手段であって、
第1、第2、第3のマクロピクセルは各々、マクロピクセルの値を生成するのに用いたピクセルの相対的位置によって決められる光学的中心を有し、
第1、第2、第3のマクロピクセルの値を生成するのに用いたピクセルは、第1、第2、第3のマクロピクセル各々の光学的中心の位置が第1、第2、第3のマクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一のグリッドを形成するようになっているものからなり、
前記システムは更に、
− 第1の正方形に対して同一方向を向き対角線状にシフトされた第4の正方形のアウトラインであるn×nの第4のピクセルからM個のピクセルを選択し、但しMは0より大きくn×n以下であって、M個のピクセルの値を用いて第4のマクロピクセルの値を生成する選択手段からなる、
デジタルカラー画像の解像度を低減するシステムに関する。
第4の側面において発明は、カラーマスクを使って記録されたデジタルカラー画像の解像度を低減することが出来るコンピュータプログラム製品であって、デジタルカラー画像は少なくとも3つの異なる色のカラーマスク内に配列されたピクセルからなり、ピクセルは第1のピクセル、第2のピクセル、第3のピクセル、第4のピクセルからなり、前記コンピュータプログラム製品は第1の側面または第2の側面の方法を実施するように構成されている、コンピュータプログラム製品に関する。
第5の側面において発明は、デジタルカラー画像の解像度を低減するように構成されている電子チップデバイスであって、デジタルカラー画像は少なくとも3つの異なる色のカラーマスク内に配列されたピクセルからなり、ピクセルは第1のピクセル、第2のピクセル、第3のピクセル、第4のピクセルからなり、電子チップデバイスは、
− a)第1の正方形のアウトラインであるn×nの第1のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第1のマクロピクセルの値を生成する、
− b)第1の正方形に対して45度回転され水平にシフトされた第2の正方形のアウトラインであるn×nの第2のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第2のマクロピクセルの値を生成する、
− c)第1の正方形に対して45度回転され垂直にシフトされた第3の正方形のアウトラインであるn×nの第3のピクセルを選択し、それら選択されたn×nピクセルの値を用いて第3のマクロピクセルの値を生成する、
− d)第1の正方形に対して同一方向を向き対角線状にシフトされた第4の正方形のアウトラインであるn×nの第4のピクセルからM個のピクセルを選択し、但しMは0より大きくn×n以下であって、M個のピクセルの値を用いて第4のマクロピクセルの値を生成する、
というステップa、b、c、dの少なくともひとつを実行するように構成されている選択手段からなり、
第1、第2、第3のマクロピクセルは各々、マクロピクセルの値を生成するのに用いたピクセルの相対的位置によって決められる光学的中心を有し、
第1、第2、第3のマクロピクセルの値を生成するのに用いたピクセルは、第1、第2、第3のマクロピクセル各々の光学的中心の位置が第1、第2、第3のマクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一のグリッドを形成するようになっている、電子チップデバイスに関する。
よって、たとえばCCDチップのような電子チップデバイスは、たとえば第1のピクセルの選択と第1のマクロピクセルの値の生成が電子チップデバイスによって行われる一方で、第2、第3、第4のピクセルの選択と第2、第3、第4のマクロピクセルの値の生成が外部処理装置または他の画像処理装置によって行われるように設計し得る。一般に、ステップa、b、c、dのいづれか(たとえば、bとc)が電子チップデバイスによって行われ得る一方で、電子チップデバイスによって行われなかった残りのステップ(たとえば、aとd)が外部処理装置または他の画像処理装置によって行われ得る。
更に、電子チップデバイス、特に選択手段は、マクロピクセルの値の生成が部分的に電子チップデバイスで処理されているいくつかの数のピクセルに基づいて実施され部分的にたとえば外部処理装置で処理されている残りの数のピクセルに基づいて実施されるように設計し得る。例えばn×n個の選択されたピクセルのうちの1個の値がチップで処理し得て、残りのn×n−1またはM−1個のピクセルが外部処理装置で処理し得る。他の例では、n×n個の選択されたピクセルのうちの2個の値がチップで処理し得て、残りのn×n−2またはM−2個のピクセルが外部処理装置で処理し得る。一般的な例では、n×n個の選択されたピクセルのうちのQ個の値がQ個チップで処理し得て、残りのn×n−QまたはM−Q個のピクセルが外部処理装置または他の画像処理装置の一つ以上で処理し得る。チップまたは外部処理装置における値の処理は、値の加算、値の平均、またはいかなる他の値の数学的処理からなり得る。
このため、例えば2×2カラービニングのステップ“a”において、2個の第1のピクセルの値が電子チップで処理し得て、残りの2個の第1のピクセルは外部処理処置で処理し得るように、ステップa、b、c、dのいずれもを実装し得る。いくつかのピクセルが電子チップで処理され残りのピクセルが外部処理装置で処理されるようにステップa、b、c、dの残りのいずれについても同様に分散し得る。これに代えて、例えばステップ“b”において、4個の第2のピクセル全てが外部処理装置で処理されるように、あるいは例えばステップ“d”において、M個の第4のピクセル全てが外部処理装置で処理されるように、ステップb、c、dの一つ以上を独占的に電子チップデバイスに実装し、かつ/または独占的に外部処理装置に実装し得る。
電子チップデバイスがステップa、b、c、dの少なくとも一つを行うように構成され、ステップa、b、c、dの他のステップが外部処理装置で行えるようになっていて、これにより電子チップデバイスのより柔軟な設計可能性を可能としていることは、利点となり得る。
電子チップデバイスによって実行されなかったステップa、b、c、dの残りのステップを提供するためのカメラまたはシステムにおいて使われる、第6の側面に基づいた電子チップデバイスに関する発明の一実施形態においては、電子チップデバイスは、
− 電子チップデバイスによって実行されたステップa、b、c、dに相当するマクロピクセルの値と、
− 電子チップデバイスによって実行されなかったステップa、b、c、dに相当する第1、第2、第3および/または第4のピクセルの値、
からなる出力画像データを提供するように構成され、
出力画像データは、デジタルカラー画像の解像度を低減するように構成されているカメラ、システムまたは外部処理装置が、出力画像データ内のマクロピクセルの値と第1、第2、第3および/または第4のピクセルの値を用意に識別できるようにフォーマットされている。
よって、電子チップデバイスは、第1、第2、第3、第4のマクロピクセルのいずれかの値のみ(たとえば、第2と第3のマクロピクセル)と第1、第2、第3、第4のピクセルのいずれかの値のみ(たとえば、第1と第4のピクセル)からなる出力画像データを提供するように構成し得る。このため、例えばカメラまたは外部処理装置のような他のシステムは、電子チップデバイスによって提供されるピクセルの値(たとえば、第1と第4のピクセルの値)に基づいて、電子チップデバイスによって生成されなかった残りのマクロピクセル(たとえば、第1と第4のマクロピクセル)を生成するように構成し得る。
発明の第6の側面に関する一実施形態では、電子チップデバイスは、電子チップデバイスとデジタルカラー画像の解像度を低減するように構成されているカメラ、システムまたは外部処理装置のいずれかとの間でデータを交換するための予め決められたフォーマットに基づいてフォーマットされている出力画像データを提供し得る。
よって、特定のデータフォーマットの出力画像データを提供することにより、電子チップデバイスは例えば外部処理装置とデータを交換することが可能となる。
まとめると、発明の実施形態の基本的なアイデアは、ピクセル同士をビニングしてマクロピクセルを形成してデジタル画像のピクセル解像度を低減する方法を提供することである。デジタル画像は少なくとも3つの異なる色のカラーマスク内に配列されたピクセルからなる。カラーマスクは、2×2マトリクスに配列された一つの赤ピクセル、2つの緑ピクセル,一つの青ピクセルからなるBayerマスクであってもよい。ピクセルビニング方法は、各色のいくつかのピクセルを選択することからなる。例えば、ファクター2の解像度の低減を得るために4つの赤ピクセルをビニングして1つの赤マクロピクセルを生成し、8つの緑ピクセルをビニングして2つの緑マクロピクセルを生成することができる。例えば1つだけ青ピクセルを選択し、そのピクセルを使って1つの青マクロピクセルを生成することにより、マクロピクセルの光学的中心はサイズを下げた画像上に均等に分布するようになる。解像度をファクター2で低減することによって、サイズを下げた画像のピクセルの料はファクター4で低減される。
本発明の第1、第2、第3、第4、第5、第6の側面とこれらのいかなる好ましい特徴または要素はそれぞれ他の側面のいずれとも組み合わせ得る。発明のこれらと他の側面は以下に記載する実施形態から明らかになり、これらを参照して明瞭にされる。
本発明をこれから付随する図面を参照して説明するが、これはあくまで例にすぎない。
図1は例えばCCDセンサやCMOSセンサのような光電画像センサ100を説明している。画像センサ100は、例えば描かれているようにマトリクスに配列された多数の感光性ピクセル101からなる。ピクセルを異なる色に感光するようにするため、ピクセルは異なる色の透過部材で覆われても良い。図1で、ピクセルはBayerマスクとして知られるカラーマスク102内に配列された赤R,緑G,青Bのカラーフィルタに覆われている。カラーマスク102内の赤、青と2つの緑ピクセルを後処理手順によって組み合わせることにより、ピクセル101はカラー画像に変換される。
便宜上の理由から、以下では、たとえば赤Rのような特定の色の透過部材で覆われたピクセルを、赤ピクセルなどのカラーピクセルと呼ぶ。カラーピクセルはたとえばCMYカラーマスクのような他のタイプのカラーマスクに配列し得る。また、たとえば第1列のピクセルの緑色は第2列のピクセルの緑色に対して多少ずれ得るように、カラーマスクの色は図1に示した例のものからずれ得る。
図2は、US特許出願第2006/0203113号に開示された、マクロピセル202とも呼ばれるビニングされたピクセル202を生成するための2×2カラービニング方法を使ってピクセルの量を4の割合で低減する方法を説明している。描かれているように、4個の赤ピクセルR1−R4同士はビニングされて赤マクロピクセルRRを形成し、4個の緑ピクセルG1−G4同士はビニングされて緑マクロピクセルGGを形成し、4個の別の緑ピクセルg1−g4同士はビニングされて別の緑マクロピクセルggを形成し、4個の青ピクセルB1−B4同士はビニングされて青マクロピクセルBBを形成する。
一般に、n×nカラービニングと呼ばれる、n×nでピクセル同士をビニングすることで、サイズを下げた画像中のピクセルの量は“n掛けるn”で削減され、サイズを下げた画像の解像度は水平と垂直方向にnで削減される。例えば、2×2カラービニングはピクセルの量を4で削減し、解像度を水平と垂直方向に2で削減する。
この記載において、カラービニングはピクセルあるいはマクロピクセルまたはマクロピクセルの値を生成するピクセルの値を組み合わせることとして理解されるべきである。ピクセルあるいはピクセルの値は、例えば加算、平均、またはマクロピクセルまたはマクロピクセルの値を生成するための他の数学的な組み合わせ関数を使って組み合わせることが出来る。更に、この記載では、カラービニングとピクセルビニングはデジタルカラー画像の解像度を低減するための同じ方法に対する同義語として使われる。
ビニングされるピクセルを選択する戦略は図2に描かれており、それは正方形SRで囲われた全ての赤ピクセルR1−R4がマクロピクセルRRにビニングされ、正方形SGで囲われた4つの緑ピクセルG1−G4がマクロピクセルGGにビニングされ、正方形Sgで囲われた別の4つの緑ピクセルg1−g4がマクロピクセルggにビニングされ、正方形SBで囲われた全ての青ピクセルB1−B4がマクロピクセルBBにビニングされることを示している。
便宜上の理由から、一つの緑マクロピクセルGGに関係する緑ピクセルは大文字を用いてG1−G4と呼ぶ一方、他の緑マクロピクセルggに関係する他の緑ピクセルは小文字を用いてg1−g4と呼ぶ。よって、ピクセルG1−G4とg1−g4とマクロピクセルGGとggは同じ緑色を有していることが理解されるべきである。但し、特別な場合には、別々の緑ピクセルの色はずれ得る。
図2に描かれているように、マクロピクセルRR、GG、gg、BBは光学的中心201によって特徴付けられている。矢印211で描かれているように、赤マクロピクセルRRの光学的中心CRの位置はピクセルR1−R4の“重心”に相当する。同様に、緑マクロピクセルggの光学的中心Cgはピクセルg1−g4の“重心”に相当する。従来例のカラービニング方法の結果、光学的中心CR,CG,Cg,CBで描かれているように、光学的中心201は2×2のブロックにクラスター化する傾向がある。
図3はピクセルセンサ100のより大きな部分についての従来例のカラービニング方法の結果を説明している。光学的中心201は2×2のブロックにクラスター化する。ピクセルセンサ100のエリア上の色中心の分布の非均一性は、非均一なワイヤグリッドWGで描かれている。マクロピクセル202の後処理の結果得られる絵は、見た目が悪く、または光学的中心201の非均一な分布のために詳細が失われているのであまりにもたくさんの追加の平滑化を要求する。
図4はこの発明の実施形態に基づく改良されたピクセルのカラービニング方法を説明している。図4に説明された方法は2×2ピクセルビニングの例を示している。但し、方法は例えば3×3、4×4、あるいは一般にn×nのピクセルビニングのように他のピクセル削減も同じように行うことができる。
図4は、第1の正方形SRのアウトラインである4つの赤ピクセルR1−R4(第1のピクセル)の選択を示している。赤ピクセルR1−R4の値はマクロピクセルRR(第1のマクロピクセル)の値を生成するために使われる。ピクセル101の値は、画像の露出中にピクセル上に露出された光の強度または他の物理的値を代表するアナログ電気値、デジタル値または電子カウントであり得る。このため、マクロピクセルの値も光強度に相当する。マクロピクセルの値は例えばピクセル101の値を平均または加算することで生成することが出来る。
全てのマクロピクセルRR、GG、gg、BBの光学的中心201の均一な分布を得るために、残りのピクセル101は以下のように選択される。
− 第2の正方形SGのアウトラインである4つの緑ピクセルG1−G4(第2のピクセル)を選択し、これら4つの緑ピクセルの値はマクロピクセルGG(第2のマクロピクセル)の値を生成するために使われる。第2の正方形SGは第1の正方形SRに対して45度回転され水平にシフトされている。
− 第3の正方形Sgのアウトラインである4つの緑ピクセルg1−g4(第3のピクセル)を選択し、これら4つの緑ピクセルの値はマクロピクセルgg(第3のマクロピクセル)の値を生成するために使われる。第3の正方形Sgは第1の正方形SRに対して45度回転され垂直にシフトされている。
− 第4の正方形SBのアウトラインである4つの青ピクセルB1−B4から一つの青ピクセルB4(第4のピクセル)を選択する。この青ピクセルB4の値はマクロピクセルBB(第4のマクロピクセル)の値を生成するために使われる。第4の正方形SBは第1の正方形SRと同一方向を向いている。残りの青ピクセルB1−B3は、図4においてこられのピクセルがクロスアウトされていることによって示されるように、無視される。
正方形SR、SG、Sg、SBと正方形の一や回転への言及は、どのようにピクセル101が選択されるかを視覚化するためだけに用いられている。明らかに、ピクセルの選択は、例えば選択をアルゴリズム中で定義するような別の説明をし得る。
よって、図4に説明された例においては、デジタルカラー画像は、4つの赤色の第1のピクセル、4つの緑色の第2のピクセル、4つの緑色の第3のピクセル、4つの青色の第4のピクセルからなる16個のピクセルの複数セットに配置されている。
また、“ピクセルの選択”という用語はピクセルビニング方法の簡単化した説明のために導入されており、従って、“ピクセルの選択”は必ずしも選択する動作と理解されるべきではない。事実、方法はピクセルが選択されることを要求しておらず、たとえば特定のピクセルの値を加算することで対応するマクロピクセル202の値にするというように、特定のピクセル101の値が組み合わされることを要求しているに過ぎない。
記載されたピクセルビニング方法の結果、3つの光学的中心CR、CG、Cgは各マクロピクセルRR、GG、ggの同じ下方右隅に位置する。光学的中心の形成は矢印411−413で示されている。よって、3つの光学的中心CR、CG、Cgは均一に分布している。
一つの青ピクセルB4だけが選択されたため、また青ピクセルB4の一は光学的中心の位置と一致するため、4つの光学的中心CR、CG、Cg、CBは均一に分布している。
人間の目は緑色に比べて青色の不完全さにより敏感でないため、全ての青ピクセルB1−B4の代わりに一つの青ピクセルB4だけを選択することにより画像の質はそれほどひどく低下しない。
図5は図4に関連して記載されたピクセルビニング方法が使われたときに結果として得られる工学的中心120の分布を示す。ピクセルセンサ100のエリア上の色中心201の分布の均一性は、均一なワイヤグリッドWGで描かれている。
図4に関連して記載されたピクセルビニング方法は勿論青ピクセルのところに他のピクセルカラーのいずれかを用いるように一般化し得る。例えば、4つの青ピクセルB1−B4、4つの緑ピクセルG1−G4、4つの他の緑ピクセルg1−g4、を選択してマクロピクセル202の値を生成する一方で、一つの赤ピクセル、たとえばピクセルR1,を選択して赤マクロピクセルRRの値を生成するようにし得る。
図6と図7は、図4に関連して記載されたピクセルビニング方法の他の側面を示す。図6では、一つの青ピクセルB4だけを選択する代わりに、マクロピクセルBBの値の生成のために4つのピクセルB1−B4全てが選択される。4つのピクセルB1−B4全てが選択されるので、結果として得られる光学的中心CBは光学的中心CR、CG、Cgの均一な分布とは一致しない。図7では、マクロピクセルBBの値の生成のために3つのピクセルB2−B4が選択される。3つのピクセルB2−B4が選択されるので、結果として得られる光学的中心CBは、4つの青ピクセルB1−B4全てが選択される状況に比べると、光学的中心CR、CG、Cgの均一な分布との一致に近くなる。
図6と図7に関連して示されたように4つまたは3つの青ピクセルを選択することの効果は図8に示されている。青マクロピクセルBBの光学的中心CBはワイヤグリッドWGに対して距離Dずれている。0でないずれDの効果は、部分的にまたは完全にカラービニング画像が更に処理される後処理手順によって補償し得る。
図6および図7に関連して記載されたピクセルビニング方法は勿論、図4に関連して記載されたピクセルビニング例の一般化と同様に、青ピクセルのところに他のピクセルカラーのいずれかを用いるように一般化し得る。つまり、3つまたは4つの青ピクセルを選択する代わりに、3つまたは4つの赤ピクセルを選択し得る。
図9はファクター9のピクセル解像度を達成するための3×3カラービニングの一例を示す。3×3カラービニングの方法は、2×2カラービニングと同様に進行する。但し、各正方形(SR,SG,Sg,SB)がビニングされる偶数でない数のピクセル(たとえば正方形SRの9個の赤ピクセルR1−R9)を含むので、また各正方形(SR,SG,Sg,SB)のその偶数でない数のピクセルのビニングは本来的に光学的中心の木に津な分布を提供するので、どの正方形のピクセルも無視することを要求されない。よって、3×3カラービニングのために、方法は以下のように進行する。
− 第1の正方形SRのアウトラインである9つの赤ピクセルR1−R9を選択し、これら9つの赤ピクセルの値はマクロピクセルRRの値を生成するために使われる。
− 第2の正方形SGのアウトラインである9つの緑ピクセルG1−G9を選択し、これら9つの緑ピクセルの値はマクロピクセルGGの値を生成するために使われる。第2の正方形SGは第1の正方形SRに対して45度回転され水平にシフトされている。
− 第3の正方形Sgのアウトラインである9つの緑ピクセルg1−g9を選択し、これら9つの緑ピクセルの値はマクロピクセルggの値を生成するために使われる。第3の正方形Sgは第1の正方形SRに対して45度回転され垂直にシフトされている。
− 第4の正方形SBのアウトラインである9つの青ピクセルB1−B9を選択し、これら9つの青ピクセルの値はマクロピクセルBBの値を生成するために使われる。第4の正方形SBは第1の正方形SRと同一方向を向いている。
カラービニングのいかなる実施形態でも、特定の色のピクセルを選択する順番は本質的ではなく、従って入れ替え得る。
図9に説明された3×3カラービニングの例は、nを偶数でない数としてn×nカラービニングに容易に一般化出来る。例えば、5×5カラービニングは各正方形について特定の色の25個のピクセルの選択からなる。
図4から図8に説明された2×2カラービニングの例は、nを偶数の数としてn×nカラービニングに一般化出来る。
図10は、図4から図7で与えられた例と同様に正方形SR、SG、Sgのピクセルが選択される4×4カラービニングの一例を示す。例えば、赤マクロピクセルの値は、正方形SRで囲われた、選択されたピクセルR1−R16の値から生成出来る。
青マクロピクセルBBの値を生成するために使う、正方形SBで囲われたピクセルは様々なやり方で選択出来る。全ての光学的中心CR、CG、Cg、CBの均一な分布を維持するためには、ピクセルB11を選択でき、残りの青ピクセルB1−B10とB11−B16は無視できる。その代わりに、青ピクセルB6−B8、B10−B12、B14−16を選択でき、残りの青ピクセルB1−B4、B5、B9、B13は無視できる。
結果として得られる青マクロピクセルBBの光学的中心CBがグリッドWGに対して距離Dずれるように、全ての青ピクセルB1−B16または青ピクセルのあらゆるサブセットを選択することも可能である。
よって、n×nを偶数の数としたn×nピクセルビニングの図4と図10で与えられた例から、方法が一般化出来ることは明らかである。つまり、一般にn×nが偶数の数のとき、たとえば正方形SR、SG、Sgのような3つの正方形のそれぞれについてn×n個のピクセルが選択され、たとえば正方形SBのような最後の正方形についてM個のピクセルが選択される。選択されたピクセルの値は対応するマクロピクセルRR、GG、gg、BBの値を生成するために使われる。正方形に囲まれたn×n個のピクセルからM個のピクセルが選択されるときは、n×n―M個のピクセルは無視される。
Mの値によっては、均一なワイヤグリッドWGに対するずれDは0になるか0より大きくなるかのどちらかになる。例えば、M=n×nについて、Dは偶数の値であるn×nについては0より大きくなる。
図11は第4の正方形SBのアウトラインである4つの青ピクセルを選択することの他の例を示す。図11は、位置1101に代わるものである正方形SBの3つの位置1102−1104を示す。4つの位置1101−1104の全ては、全てのマクロピクセル(RR、GG、gg、BB)の光学的中心が均等に分布するようにマクロピクセルBBの値を生成するための一つの青ピクセルB4を選択する可能性を提供する。その代わりに、位置1102のためにピクセルB2、B4、B6を選択することもでき、位置1103のためにピクセルB4、B6、B8を選択することもでき、位置1104のためにピクセルB3、B4、B8を選択することもでき、選択された3つの青ピクセルの値は、グリッドWGに対して距離Dずらされた光学的中心CBを有する青マクロピクセルBBを生成するために使われる。明らかに、位置1101−1104の4つの青ピクセル全てを選択することも可能である。第4の正方形SBの4つの異なる位置の可能性は、たとえば4×4カラービニングのように全ての偶数の値であるn×nに適用可能である。
n×nが偶数または偶数でない一般のn×n(n掛けるnと読まれる)カラービニングについては、サイズを下げた画像の解像度は水平と垂直方向の両方でファクターnで削減され、サイズを下げた画像のピクセル数はファクターn×nで削減される。選択されたn×n個のピクセルを囲む正方形(SR,SG,Sg,SB)の寸法は両サイドで2×n−1である。第2の正方形SGは第1の正方形SRに対して水平にnピクセル位置シフトされており、第3の正方形Sgは第1の正方形SRに対して垂直にnピクセル位置シフトされている。一般のn×nピクセルビニングでは、第4の正方形SBは以下のようにシフトされる。
− 偶数でないn×nについては、第4の正方形はnピクセル水平にかつnピクセル垂直にシフトされ、
− 偶数のn×nについては、第4の正方形はn−1ピクセル水平にかつn−1ピクセル垂直にシフトされる(位置1101)か、n+1ピクセル水平にかつn−1ピクセル垂直にシフトされる(位置1102)か、n+1ピクセル水平にかつn+1ピクセル垂直にシフトされる(位置1103)か、n−1ピクセル水平にかつn+1ピクセル垂直にシフトされる(位置1104)。第4の正方形SBは第1の正方形SRに対して対角線状にシフトされるというような記述が言及されるときはいつでも、これは上述した第4の正方形をシフトする可能性のいずれも、即ち、図11に示された位置1101−1104、を含むものと解釈されるべきである、ことが理解されるべきである。
図13はカラービニングの効果を説明している。上の画像はサブサンプリング、すなわち一つおきのRGBマスク102を単純にスキップしたもの、を使って画像解像度をファクター2で低減させることの効果を示す。下の画像は図6に説明された方法に基づいた2×2カラービニングの効果を示す。2×2カラービニングも画像解像度をファクター2で低減する。下の画像と対照的に上の画像は明らかに多くのノイズを含んでいる。
図14はこの発明に基づくカラービニングの効果を図2に説明された従来例のカラービニング方法と対比させて説明している。一番上の画像は従来例のカラービニングを使った画像結果を示す一方、下の画像はこの発明に基づくカラービニング方法を使った画像結果を示す。下の画像は図6に説明された2×2カラービニング方法を使った結果を示す。下の画像の質が一番上の画像の質よりも優れていることが明らかに見て取れる。図14の一番上の画像の明らかにぎざぎざになったエッジは光学的中心の非均等な分布の結果である。この発明に基づくカラービニングの他の実施形態によるカラービニング方法を使っても、図14に説明されたのと同様の画像改良の結果となる。
図12は発明のいずれかの実施形態に基づくカラービニングを実施するように適応されたシステム1210を示す。図12は、光電画像センサ100、1213と可能性としてまたその他の画像処理回路1215からなる静止画カメラまたはビデオカメラ1212を示す。カメラ1212は、たとえばピクセルデータの更なる処理のためのコンピュータまたは他の画像処理装置のような外部処理装置1211に接続1014を介して接続され得る。
カラービニング方法の全てのステップは、たとえば画像センサ100、1213かその他の処理回路1215に実装し得るし、またカラービニング方法は、画像センサがカラービニング方法の一部を処理してその他の処理回路がカラービニング方法の他の部分を処理するように、画像センサとその他の処理回路の両方に分散し得る。
同様に、カラービニング方法はカメラ1212の処理回路1213、1215と外部処理装置1211の両方に分散し得る。例えば、カラービニング方法の一部は一つ以上の処理回路1213,1215で処理され、カラービニング方法の別の一部は外部処理装置1211で処理される。
更に、カラービニングの完全な方法を単一の外部処理装置1211に独占的に、またたとえばコンピュータプログラム製品として一群の外部処理装置1211に分散して、実装し得る。画像ピクセルデータはカメラまたは画像センサから接続1214を解して外部処理装置1211に提供され得る。それの代わりに、画像ピクセルデータはたとえばDVDのような格納媒体を介して外部処理装置1211に提供され得るし、また画像ピクセルデータはたとえばインターネット接続のようなデータ接続を介して外部処理装置1211に提供され得る。
このため、画像センサ100、1213と処理回路1215、および/または外部処理装置1211は、第1、第2、第3、第4のピクセル(R、G、g、B)を選択し、選択されたピクセルの値を該当する第1、第2、第3、第4のマクロピクセルの値を生成するために使う選択手段1220を構成し得る。それの代わりに、画像センサ100、1213とその他の処理回路1215、および/または外部処理装置1211は、ピクセルを選択する分離した選択手段(図示せず)と、選択したピクセルの値を該当するマクロピクセルの値を生成するために使う分離した生成手段(図示せず)を構成し得る。
選択手段1220はソフトウェア実装の選択手段、またはたとえば画像センサに実装または一体化されたハードウェア実装の選択手段であり得る。選択手段1220はソフトウェアとハードウェア実装の組み合わせとしても実装し得る。カラービニング方法はたとえば画像センサ1213からなる単一の選択手段1220に実装し得るし、またカラービニング方法は1つ以上の画像センサ1213、処理回路1215、外部処理装置1211からなるより多くの選択手段1220に分散され得る。同様に、分離した選択手段と生成手段はハードウェアまたはソフトウェアで実装し得る。
2×2カラービニングの例では、カラービニング手順は、2つの赤ピクセルR1,R2の値が画像センサ1213で加算される一方、2つの残りの赤ピクセルR3,R4が外部処理装置1211で後のステップにおいて加算されるように、たとえば画像センサ1213と外部処理装置1211に分散することが出来る。手順はその他の色の全てまたはいくつかのピクセルについて繰り返すことが出来る。2×2カラービニングの他の例では、 たとえば赤と青のピクセルは画像センサ1213でビニングされる一方、緑ピクセルは外部処理装置1211でビニングされる。カラービニングを画像センサ1213で実施することは高速なピクセル読み出しを得たり、より高い信号/ノイズ比を得たりするために有利であり得る。
よって、マクロピクセル(RR、GG、gg、BB)の値を生成するということは、画像センサ1213とも呼ばれる電子チップデバイス1213の選択手段1220で
いくつかのピクセルの値がたとえば加算のように処理され得ることを意味する、ことを理解されるべきである。例えばn×n個の選択されたピクセル(R1−R4またはB1−B4)のうちの1個のピクセル(R1またはB1)の値がチップで処理し得て、残りのn×n−1またはM−1個のピクセル(R2−R4またはB2−B4)が外部処理装置1211で処理し得る。他の例では、n×n個の選択されたピクセル(R1−R4)のうちの2個の値がチップの選択手段1220で処理し得て、残りのn×n−2またはM−2個のピクセルが外部処理装置1211の選択手段1220で処理し得る。一般的な例では、n×n個の選択されたピクセルのうちのQ個のピクセルのQ個の値が電子チップデバイス1213または処理回路1215で処理し得て、残りのn×n−QまたはM−Q個のピクセルが外部処理装置1211またはその他の処理装置1215の一つ以上で処理し得る。チップまたは外部処理装置における値の処理は、値の加算、値の平均、または他の値の数学的処理からなり得る。
カラービニング手順を分散する他の例では、たとえばCCDチップのような電子チップデバイス1213は、たとえば第1のピクセルR1−R4の選択と第1のマクロピクセルRRの値の生成が電子チップデバイス1213の選択手段1220によって行われる一方で、第2G1−G4、第3g1−g4、第4B1−B4のピクセルの選択と第2GG、第3gg、第4BBのマクロピクセルの値の生成が外部処理装置1211またはその他の処理装置1215の選択手段1220によって行われるように設計し得る。別の例では、第2のピクセルG1−G4と第3のピクセルg1−g4の選択と第2のマクロピクセルGGの値と第3のマクロピクセルggの値の生成が電子チップデバイス1213の選択手段1220によって行われる一方で、第1のピクセルR1−R4と第4のピクセルB1−B4の選択と第1のマクロピクセルRRと第4のマクロピクセルBBの値の生成が外部処理装置1211またはその他の処理装置1215の選択手段1220によって行われる。
上述したカラービニング方法のステップの分散の例のいずれもが互いに組み合わせ様々な処理装置に分散し得る。本発明は特定の実施形態に繋げて記載されたが、これはここに示した特定の形態に限定されることを意図していない。寧ろ、本発明の範囲は付帯する請求項によってのみ限定される。請求項において、“からなる”という用語は他の要素やステップがあることを除外しない。加えて、個別の特徴は異なる請求項に含まれ得るが、これらは有利に組み合わせることが可能であり得るし、異なる請求項に含まれることが特徴の組み合わせは実行可能および/または有利ではないことを示唆しない。加えて、単数の言及は複数を除外しない。よって、“ひとつ”、“第1の”、“第2の”等の言及は複数を排除しない。更に、請求項の参照符号は範囲を限定するものと解釈されるべきではない。
図1は例えばCCDセンサやCMOSセンサのような光電画像センサ100を説明している。 図2は2×2カラービニング方法を使ってピクセルの量を4の割合で低減する従来例の方法を説明している。 図3は従来例のカラービニング方法の結果を説明している。 図4はこの発明の実施形態に基づく改良されたピクセルのカラービニング方法を説明している。 図5は図4に関連して記載されたピクセルビニング方法が使われたときに結果として得られる工学的中心120の分布を示す。 図6は図4に関連して記載されたピクセルビニング方法の他の側面を示す。 図7は図4に関連して記載されたピクセルビニング方法の他の側面を示す。 図8は図6と図7に関連して示されたように4つまたは3つの青ピクセルを選択することの効果を示す。 図9はファクター9のピクセル解像度を達成するための3×3カラービニングの一例を示す。 図10は4×4カラービニングの一例を示す。 図11は第4の正方形を囲む青ピクセルを選択することの他の例を示す。 図12はカラービニングを実施するように適応されたシステム1210を示す。 図13はカラービニングの効果を説明しており、上の画像はサブサンプリングを使って画像解像度をファクター2で低減させることの効果を示し、下の画像は図6に説明された方法に基づいた2×2カラービニングの効果を示す。 図14はこの発明に基づくカラービニングの効果を図2に説明された従来例のカラービニング方法と対比させて説明している。

Claims (18)

  1. 画像センサ、処理回路、外部処理装置、処理装置、又はコンピュータプロセッサの少なくとも1つであってこれらの任意の組み合わせを含むものにおいて行われるデジタルカラー画像(100)の解像度を低減する方法であって、
    前記デジタルカラー画像は少なくとも3つの異なる色のカラーマスク(102)内に配列されたピクセル(101)を含み、前記ピクセルは第1ピクセル(R)、第2ピクセル(G)、第3ピクセル(g)、及び第4ピクセル(B)を含み、
    前記方法は、
    ・前記カラーマスク(102)を使ってデジタルカラー画像を記録することと、
    ・第1正方形(SR)のアウトラインであるn×nの第1ピクセル(R)を選択し、それら選択されたn×nピクセルの値を用いて第1マクロピクセル(202、RR)の値を生成することと、
    ・前記第1正方形(SR)に対して45度回転され水平にシフトされた第2正方形(SG)のアウトラインであるn×nの第2ピクセル(G)を選択し、それら選択されたn×nピクセルの値を用いて第2マクロピクセル(202、GG)の値を生成することと、
    ・前記第1正方形(SR)に対して45度回転され垂直にシフトされた第3正方形(Sg)のアウトラインであるn×nの第3ピクセル(g)を選択し、それら選択されたn×nピクセルの値を用いて第3マクロピクセル(202、gg)の値を生成することと、
    ・前記第1正方形(SR)に対して同一方向を向き対角線状にシフトされた第4正方形(SB)のアウトラインであるn×nの第4ピクセル(B)から、0より大きくn×n以下であるMのピクセルを選択し、前記Mのピクセルの値を用いて第4マクロピクセル(202、BB)の値を生成することと
    を含み、
    前記第1、第2、及び第3マクロピクセルは各々、前記マクロピクセル(202)の値を生成するのに用いたピクセルの相対位置によって決まる光学的中心(201、CR、CG、Cg)を有し、
    前記第1、第2、及び第3マクロピクセルの値を生成するのに用いたピクセルは、前記第1、第2、第3マクロピクセル各々の前記光学的中心(201)の位置が前記第1、第2、第3マクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一グリッド(WG)を形成し、
    前記nは1より大きい整数値である方法。
  2. 前記選択されたMのピクセルと前記結果的な光学的中心(CB,201)とは、前記均一グリッド(WG)に対して所定距離(D)ずれており、
    前記距離(D)は、Mと前記第4正方形(SB)に対する前記Mのピクセルの位置との両方に依存し、
    ・n×nが偶数でない整数のとき、M=n×nはD=0という結果になり、
    ・n×nが偶数の整数のとき、Mのいくつかの値について、M=n×nはD>0及びM<n×nはD=0という結果になる、請求項1の方法。
  3. 前記距離(D)は、Mと前記第4正方形(SB)に対する前記Mのピクセルの位置との両方に依存し、
    ・n×n=4のとき、M=1はD=0及びM>1はD>0という結果になる、請求項2の方法。
  4. 前記距離(D)は、Mと前記第4正方形(SB)に対する前記Mのピクセルの位置との両方に依存し、
    ・n×n=16のとき、M=1及びM=9はD=0という結果になる、請求項2の方法。
  5. 前記第2正方形(SG)は前記第1正方形(SR)と重なり、
    前記第3正方形(Sg)は前記第1正方形(SR)と重なり、
    前記第4正方形(SB)は前記第1、第2、及び第3正方形の1つ以上と重なる、請求項1の方法。
  6. n×n=4かつM=1であって、
    前記方法は、
    ・1つの第4ピクセル(B)を選択し、その1つの第4ピクセルの値を用いて第4マクロピクセル(BB)の値を生成すること
    を含み、
    前記選択されたピクセルと前記結果的な光学的中心(CB)とは、前記均一グリッド(WG)に対して距離(D)が0で、残りの3つの第4ピクセル(B)は無視される、請求項1の方法。
  7. n×n=4かつM=4であって、
    前記方法は、
    ・4つの第4ピクセル(B)を選択し、その4つの第4ピクセルの値を用いて前記第4マクロピクセル(BB)の値を生成すること
    を含み、
    前記選択されたピクセルは、前記均一グリッド(WG)に対して所定距離(D)を有する光学的中心(CB)を提供する、請求項1の方法。
  8. n×n=4かつM=3であって、
    前記方法は、
    ・前記均一グリッド(WG)に対して距離(D)が0の1つの第4ピクセル(B)を選択し、前記最初に選択した1つの第4ピクセルに最も近い2つの第4ピクセル(B)を選択し、前記選択した3つの第4ピクセルを用いて前記第4マクロピクセル(BB)の値を生成すること
    を含み、
    前記選択されたピクセルは前記均一グリッド(WG)に対して低減された距離(D)を有する光学的中心(CB)を提供し、残り1つの第4ピクセルは無視される、請求項1の方法。
  9. 画像センサ、処理回路、外部処理装置、処理装置、又はコンピュータプロセッサの少なくとも1つであってこれらの任意の組み合わせを含むものにおいて行われるデジタルカラー画像の解像度を水平と垂直の両方向にファクター2で低減する方法であって、
    前記デジタルカラー画像は16のピクセルの複数セットに配置され、
    前記セットの各々は、4つの第1ピクセル(R)、4つの第2ピクセル(G)、4つの第3ピクセル(g)、及び4つの第4ピクセル(B)を含み、
    前記各セットは、第1マクロピクセル(RR)、第2マクロピクセル(GG)、第3マクロピクセル(gg)、及び第4マクロピクセル(BB)を含む4つのマクロピクセルの値を生成するピクセルの集まりを構成し、
    前記方法は、
    カラーマスクを使ってデジタルカラー画像を記録することと、
    16ピクセルの各セットについて、
    ・4つの第1ピクセル(R1、R2,R3,R4)を選択し、それら4つのピクセルの値を用いて第1マクロピクセル(202、RR)の値を生成することと、
    ・4つの第2ピクセル(G1、G2、G3、G4)を選択し、それら4つのピクセルの値を用いて第2マクロピクセル(202、GG)の値を生成することと、
    ・4つの第3ピクセル(g1、g2、g3、g4)を選択し、それら4つのピクセルの値を用いて第3マクロピクセル(202、gg)の値を生成することと、
    を含み、
    前記第1、第2、及び第3マクロピクセルは各々、前記マクロピクセル(202)の値を生成するのに用いたピクセルの相対位置によって決まる光学的中心(201)を有し、
    前記第1、第2、及び第3マクロピクセル(202)の値を生成するのに用いたピクセルは、前記第1、第2、及び第3マクロピクセル各々の光学的中心(201)の位置が前記第1、第2、及び第3マクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一グリッド(WG)を形成し、
    第4マクロピクセル(BB)の値を、
    ・1つの第4ピクセル(B1)を選択し、その1つの第4ピクセルの値を用いて前記第4マクロピクセル(BB)の値を生成することであって、前記選択されたピクセルは前記均一グリッド(WG)に対して距離(D)が0の光学的中心(CB)を提供し、残りの3つの第4ピクセル(B2−B4)は無視することと、
    ・4つの第4ピクセル(B1−B4)を選択し、その4つの第4ピクセルの値を用いて前記第4マクロピクセル(BB)の値を生成することであって、前記選択されたピクセルは前記均一グリッド(WG)に対して所定距離(D)の光学的中心(CB)を提供することと、
    ・前記均一グリッド(WG)に対して距離(D)が0の1つの第4ピクセル(B4)を選択し、前記最初に選択した1つの第4ピクセル(B4)に最も近い2つの第4ピクセル(B2、B3)を選択し、前記選択した3つの第4ピクセルを用いて前記第4マクロピクセル(BB)の値を生成することであって、前記選択されたピクセルは前記均一グリッド(WG)に対して低減された距離(D)を有する光学的中心(CB)を提供し、残り1つの第4ピクセルは無視することと、
    のいずれかを使って生成することを含む方法。
  10. 前記カラーマスクは、1つの赤ピクセル(R)、2つの緑ピクセル(g、G),及び1つの青ピクセル(B)を含むBayerマスクである、請求項1又は9の方法。
  11. 前記第1ピクセルは赤ピクセル(R)、前記第2ピクセルは緑ピクセル(G)、前記第3ピクセルは緑ピクセル(g)、前記第4ピクセルは青ピクセル(B)である、請求項1又は9の方法。
  12. 前記第1、第2、第3、及び第4ピクセル(R、G、g、B)各々の前記選択されたピクセルの値が加算されて、前記第1、第2、第3、及び第4マクロピクセル(RR、GG、gg、BB)各々の値を生成する、請求項1又は9の方法。
  13. 前記第1、第2、第3、及び第4ピクセル(R、G、g、B)各々の選択されたピクセルの値が平均されて、前記第1、第2、第3、及び第4マクロピクセル(RR、GG、gg、BB)各々の値を生成する、請求項1又は9の方法。
  14. 画像センサ(1213)、処理回路(1215)、外部処理装置(1211)の1つ以上に実装される、少なくとも3つの異なる色のカラーマスク(102)内に配列されたピクセル(101)を含むデジタルカラー画像(100)の解像度を低減するように構成されたシステム(1210)であって、
    前記ピクセルは第1ピクセル(R)、第2ピクセル(G)、第3ピクセル(g)、及び第4ピクセル(B)を含み、
    前記システムは、
    ・第1正方形(SR)のアウトラインであるn×nの第1ピクセル(R)を選択し、それら選択されたn×nピクセルの値を用いて第1マクロピクセル(202、RR)の値を生成することと、
    ・前記第1正方形(SR)に対して45度回転され水平にシフトされた第2正方形(SG)のアウトラインであるn×nの第2ピクセル(G)を選択し、それら選択されたn×nピクセルの値を用いて第2マクロピクセル(202、GG)の値を生成することと、
    ・前記第1正方形(SR)に対して45度回転され垂直にシフトされた第3正方形(Sg)のアウトラインであるn×nの第3ピクセル(g)を選択し、それら選択されたn×nピクセルの値を用いて第3マクロピクセル(202、gg)の値を生成することと
    を行う選択手段(1220)を含み、
    前記第1、第2、及び第3マクロピクセルは各々、前記マクロピクセル(202)の値を生成するのに用いたピクセルの相対位置によって決まる光学的中心(201、CR、CG、Cg)を有し、
    前記第1、第2、第3マクロピクセルの値を生成するのに用いたピクセルは、前記第1、第2、及び第3マクロピクセル(202)各々の前記光学的中心(201)の位置が前記第1、第2、及び第3マクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一グリッド(WG)を形成し、
    前記システム(1210)は更に、
    ・第1正方形(SR)に対して同一方向を向き対角線状にシフトされた第4正方形(SB)のアウトラインであるn×nの第4ピクセル(B)から、0より大きくn×n以下であるMのピクセルを選択し、前記Mのピクセルの値を用いて第4マクロピクセル(BB)の値を生成する選択手段(1220)を含むシステム。
  15. 請求項1又は請求項9の方法をコンピュータに実行させるべく構成されて、カラーマスク(102)を使って記録されたデジタルカラー画像(100)の解像度を低減することができるコンピュータプログラムであって、
    前記デジタルカラー画像(100)は少なくとも3つの異なる色のカラーマスク内に配列されたピクセル(101)を含み、前記ピクセルは第1ピクセル(R)、第2ピクセル(G)、第3ピクセル(g)、及び第4ピクセル(B)を含コンピュータプログラム。
  16. デジタルカラー画像(100)の解像度を低減するように構成されている電子チップデバイス(1213、1215)を含むシステム(1210)であって、
    前記デジタルカラー画像は少なくとも3つの異なる色のカラーマスク(102)内に配列されたピクセル(101)を含み、前記ピクセルは第1ピクセル(R)、第2ピクセル(G)、第3ピクセル(g)、第4ピクセル(B)を含み、
    前記電子チップデバイスは、以下のステップa、b、c、又はdの少なくとも1つを実行することにより、少なくとも第1正方形(SR)、第2正方形(SG)、第3正方形(Sg)、又は第4正方形(SB)のアウトラインであるピクセルを選択して、第1、第2、第3、又は第4マクロピクセルの少なくとも1つを生成するように構成される選択手段(1220)を含み、
    ・a)前記第1正方形(SR)のアウトラインであるn×nの第1ピクセル(R)を選択し、それら選択されたn×nピクセルの値を用いて前記第1マクロピクセル(202、RR)の値を生成するステップ、
    ・b)前記第2正方形(SG)のアウトラインであるn×nの第2ピクセル(G)を選択し、それら選択されたn×nピクセルの値を用いて前記第2マクロピクセル(202、GG)の値を生成するステップ、
    ・c)前記第3正方形(Sg)のアウトラインであるn×nの第3ピクセル(g)を選択し、それら選択されたn×nピクセルの値を用いて前記第3マクロピクセル(202、gg)の値を生成するステップ、
    ・d)前記第4正方形(SB)のアウトラインであるn×nの第4ピクセル(B)から、0より大きくn×n以下であるMのピクセルを選択し、前記Mのピクセルの値を用いて前記第4マクロピクセル(BB)の値を生成するステップ、
    nは1より大きい整数値であり、
    前記第2正方形(SG)は前記第1正方形(SR)に対して45度回転され水平にシフトされた位置にあり、
    前記第3正方形(Sg)は前記第1正方形(SR)に対して45度回転され垂直にシフトされた位置にあり、
    前記第4正方形(SB)は前記第1正方形(SR)に対して同一方向を向き対角線状にシフトされた位置にあり、
    前記第1、第2、及び第3マクロピクセルは各々、前記マクロピクセル(202)の値を生成するのに用いたピクセルの相対位置によって決まる光学的中心(201、CR、CG、Cg)を有し、
    前記第1、第2、及び第3マクロピクセルの値を生成するのに用いたピクセルは、前記第1、第2、及び第3マクロピクセル(202)各々の前記光学的中心(201)の位置が前記第1、第2、及び第3マクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一グリッド(WG)を形成し、
    記システム(1210)は、前記電子チップデバイス(1213、1215)によって実行されなかったステップa、b、c、又はdの任意の残りのステップを与えるべく構成されるシステム(1210)。
  17. デジタルカラー画像(100)の解像度を低減するように構成されている電子チップデバイス(1213、1215)であって、
    前記デジタルカラー画像は少なくとも3つの異なる色のカラーマスク(102)内に配列されたピクセル(101)を含み、前記ピクセルは第1ピクセル(R)、第2ピクセル(G)、第3ピクセル(g)、第4ピクセル(B)を含み、
    前記電子チップデバイスは、以下のステップa、b、c、又はdの少なくとも1つを実行することにより、少なくとも第1正方形(SR)、第2正方形(SG)、第3正方形(Sg)、又は第4正方形(SB)のアウトラインであるピクセルを選択して、第1、第2、第3、又は第4マクロピクセルの少なくとも1つを生成するように構成される選択手段(1220)を含み、
    ・a)前記第1正方形(SR)のアウトラインであるn×nの第1ピクセル(R)を選択し、それら選択されたn×nピクセルの値を用いて前記第1マクロピクセル(202、RR)の値を生成するステップ、
    ・b)前記第2正方形(SG)のアウトラインであるn×nの第2ピクセル(G)を選択し、それら選択されたn×nピクセルの値を用いて前記第2マクロピクセル(202、GG)の値を生成するステップ、
    ・c)前記第3正方形(Sg)のアウトラインであるn×nの第3ピクセル(g)を選択し、それら選択されたn×nピクセルの値を用いて前記第3マクロピクセル(202、gg)の値を生成するステップ、
    ・d)前記第4正方形(SB)のアウトラインであるn×nの第4ピクセル(B)から、0より大きくn×n以下であるMのピクセルを選択し、前記Mのピクセルの値を用いて前記第4マクロピクセル(BB)の値を生成するステップ、
    nは1より大きい整数値であり、
    前記第2正方形(SG)は前記第1正方形(SR)に対して45度回転され水平にシフトされた位置にあり、
    前記第3正方形(Sg)は前記第1正方形(SR)に対して45度回転され垂直にシフトされた位置にあり、
    前記第4正方形(SB)は前記第1正方形(SR)に対して同一方向を向き対角線状にシフトされた位置にあり、
    前記第1、第2、及び第3マクロピクセルは各々、前記マクロピクセル(202)の値を生成するのに用いたピクセルの相対位置によって決まる光学的中心(201、CR、CG、Cg)を有し、
    前記第1、第2、及び第3マクロピクセルの値を生成するのに用いたピクセルは、前記第1、第2、及び第3マクロピクセル(202)各々の前記光学的中心(201)の位置が前記第1、第2、及び第3マクロピクセル各々の内部で同一の位置となるように選択されて、これらの光学的中心が均一グリッド(WG)を形成し、
    前記電子チップデバイスは、
    ・前記電子チップデバイス(1213、1215)によって実行されたステップa、b、c、及びdのいずれかに対応するマクロピクセルの値と、
    ・前記電子チップデバイスによって実行されなかったステップa、b、c、及びdのいずれかに対応する第1、第2、第3、及び/又は第4いずれかのピクセルの値と
    を含む出力画像データを提供するように構成され、
    前記出力画像データは、デジタルカラー画像の解像度を低減するように構成されるカメラ(1212)又はシステム(1210)が、前記出力画像データ内のマクロピクセルの値と第1、第2、第3、及び/又は第4いずれかのピクセルの値とを容易に識別できるようにフォーマットされ
    前記電子チップデバイス(1213、1215)は、前記電子チップデバイス(1213、1215)によって実行されなかったステップa、b、c、及びdの任意の残りのステップを与えるべく構成された前記カメラ(1212)又は前記システム(1210)とともに用いられるべく構成される電子チップデバイス(1213、1215)
  18. 前記出力画像データは、前記電子チップデバイス(1213、1215)と、前記カメラ(1212)又は前記システム(1210)のいずれかとの間でデータを交換するための予め決められたフォーマットに基づいてフォーマットされている、請求項17の電子チップデバイス(1213、1215)。
JP2008044741A 2007-02-27 2008-02-26 デジタル画像の画像解像度を低減するカラービニング Active JP4805294B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US11/711,361 US7929807B2 (en) 2007-02-27 2007-02-27 Colour binning of a digital image to reduce the image resolution
EP07103154A EP1887515B1 (en) 2007-02-27 2007-02-27 Colour binning of a digital image
US11/711,361 2007-02-27
EP07103154.6 2007-02-27

Publications (3)

Publication Number Publication Date
JP2009010923A JP2009010923A (ja) 2009-01-15
JP2009010923A5 JP2009010923A5 (ja) 2011-03-31
JP4805294B2 true JP4805294B2 (ja) 2011-11-02

Family

ID=40325492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008044741A Active JP4805294B2 (ja) 2007-02-27 2008-02-26 デジタル画像の画像解像度を低減するカラービニング

Country Status (1)

Country Link
JP (1) JP4805294B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011171885A (ja) * 2010-02-17 2011-09-01 Renesas Electronics Corp 画像処理装置及び画像処理方法
JPWO2021187223A1 (ja) * 2020-03-17 2021-09-23

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3501694B2 (ja) * 1999-07-21 2004-03-02 キヤノン株式会社 撮像装置及びそれを用いた撮像システム
JP3950655B2 (ja) * 2001-09-06 2007-08-01 富士フイルム株式会社 撮像装置
JP4445870B2 (ja) * 2002-12-02 2010-04-07 オリンパス株式会社 撮像装置
JP3877695B2 (ja) * 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
JP4802944B2 (ja) * 2006-08-31 2011-10-26 大日本印刷株式会社 補間演算装置

Also Published As

Publication number Publication date
JP2009010923A (ja) 2009-01-15

Similar Documents

Publication Publication Date Title
US7929807B2 (en) Colour binning of a digital image to reduce the image resolution
US8237831B2 (en) Four-channel color filter array interpolation
US8203633B2 (en) Four-channel color filter array pattern
US8125546B2 (en) Color filter array pattern having four-channels
US8253832B2 (en) Interpolation for four-channel color filter array
KR101012537B1 (ko) 고체 이미지 센서
EP2087725B1 (en) Improved light sensitivity in image sensors
US7982788B1 (en) Digital video camera with binning or skipping correction
US7265783B2 (en) Image pickup apparatus
CN103563361B (zh) 图像处理设备和方法以及成像设备
US8854511B2 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
US8780239B2 (en) Image pickup apparatus and signal value correction method
US10841488B2 (en) Combined monochrome and chromatic camera sensor
US20110199520A1 (en) Image processing apparatus and image processing method
JP2010277267A (ja) 画像処理装置、撮像装置及び画像処理方法
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
CN114331916B (zh) 图像处理方法及电子设备
JP4805294B2 (ja) デジタル画像の画像解像度を低減するカラービニング
JP2004112738A (ja) 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路
JP2004023683A (ja) 固体撮像素子の欠陥補正装置及び方法
US8223231B2 (en) Imaging apparatus and image processing program
US20070030522A1 (en) Image processing apparatus and image processing method
EP1887515B1 (en) Colour binning of a digital image
WO2001013649A1 (en) Method and apparatus for color interpolation
US20240163573A1 (en) Color filter array and demosaicing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110215

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110810

R150 Certificate of patent or registration of utility model

Ref document number: 4805294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250