JP5335566B2 - 高精細映像信号処理装置 - Google Patents
高精細映像信号処理装置 Download PDFInfo
- Publication number
- JP5335566B2 JP5335566B2 JP2009135145A JP2009135145A JP5335566B2 JP 5335566 B2 JP5335566 B2 JP 5335566B2 JP 2009135145 A JP2009135145 A JP 2009135145A JP 2009135145 A JP2009135145 A JP 2009135145A JP 5335566 B2 JP5335566 B2 JP 5335566B2
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- serial video
- input
- signals
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 142
- 238000012937 correction Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 22
- 238000003672 processing method Methods 0.000 claims description 16
- 230000004075 alteration Effects 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000003705 background correction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Description
このようなカメラ等では、撮像素子からの映像信号の読み出し速度や、読み出し後の信号処理の速度に限度があることから、複数の出力を有する撮像素子又は複数貼り合わせによる撮像素子を用いて高精細画像を得るようにしたり、映像信号を複数に分割したりして並列処理するようにしている。
すなわち、撮像素子の画素領域を略一定間隔に複数のエリアに分割し、その複数のエリアを略同一のタイミングにて駆動して並列読み出し動作を行い、読み出した映像信号を並列状態のまま処理する。
撮像素子の出力信号は、分割領域毎やRGB色チャネル毎に、夫々分割されているので、領域の境界で補正量が不連続になると、視覚でも認識可能な劣化が画像に生じるため、本例では、収差やシェーディング補正を行な際は、隣の領域の信号も入力するようにしており、のりしろ処理と呼ばれる。
4K2K或いは8K4Kと呼ばれる超高精細映像を扱う場合、このための処理は処理量が莫大となるため、高速シリアル伝送で互いに接続された複数の基板で構成することが多い。システムの開発過程において、システムの開発者は開発過程において、ハードウェア規模、および並列処理によるオーバヘッドの増大を抑えるように、信号の分割の仕方や、各種処理の順序などの方式検討をする必要があるが、各方式ごとに回路基板を起こすのは、大変な労力となる。
すなわち、FPGAを必要に応じて複数個、実装したボードを用意しておけば、それだけで、別途、個々の回路について多数の基板を起こすこと無く、システムの試作、検証や評価が簡便且つ短時間で行えるようになり、高精細映像信号処理装置の性能向上とコスト低減に大きく寄与できることになる。
全体としての画像処理方式としては、大別して、単色画像処理(単色画像のまま個々に処理する方式。領域分割数が少なくて済む)やRGB画像処理(RGB画像に一括して処理する方式。色に関する補正が容易)、或いは専用画像処理(ユーザなどから要望された画像処理)がある。
そして、この束ね直しには、個々のFPGAが全ての結線の組合せに備えて前段の全ての回路基板と接続を用意する必要があるが、現時点ではそのような多数の高速シリアル信号インタフェースを備えたデバイスは入手できない。
このため、配線の切り替えは、信号処理回路の中ではなく外部で行なう必要があり、たとえ信号処理回路がFPGAによるものであっても、論理情報と配線情報のローディングによっては対処できない。
本発明の目的は、画像処理方式の変更にもFPGAによる補正処理の共用化が可能な、高精細映像信号処理装置を提供することにある。
まず、図1は、本発明の一実施の形態による処理ユニット7のブロック図であり、単色画像処理した場合の動作も模式的に示してある。
本例の処理ユニット7は、主要部品として、入力側の高速クロスポイントスイッチ8と、6個の信号処理回路10〜15と、出力側の高速クロスポイントスイッチ16と、を1枚の基板に実装したものである。
R(赤)センサ1とB(青)センサ2それにG(緑)センサ3は夫々、例えば、図10に示したような並列出力撮像素子のセンサ(いわゆる3板カメラ)であり、ここでは、各センサは撮像領域が8分割され、それをLVDSのような高速シリアルインターフェース8本(N=8)で出力するものとする。
これらRセンサ1、Bセンサ2、Gセンサ3の各々から8本ずつ出力される高速シリアル映像信号は、夫々の入力側コネクタ4、5、6を介して処理ユニット7の中に取り込まれ、入力側のN×M(N=8)構成の高速クロスポイントスイッチ8に供給される。
このとき高速クロスポイントスイッチ8は、3N×6M(M=6)構成のスイッチであり、FPGA1〜FPGAn(n=6)の夫々からなる信号処理回路10〜15の各FPGAからの制御信号によってクロスポイントの選択が制御される。
このとき、FPGA1〜FPGAnは、夫々、このときに要求されている単色画像処理ユニットとしての信号処理に必要な論理情報と配線情報のほか、高速クロスポイントスイッチ8に与える制御信号を発生するための情報がローディングされている。
次に、信号処理回路12には、Gチャネルの映像信号の1チャネルから5チャネルまでの5チャネル分が入力され、信号処理回路13には、Gチャネルの映像信号の1チャネルから5チャネルまでの5チャネル分が入力される。そして、これら信号処理回路12のFPGA3と信号処理回路13のFPGA4の双方により、G映像信号についての各種補正処理が施される。
各色とも、5チャネルが冗長に入力され、のりしろとして利用されるので、領域分割間を横断するような処理(シェーディング補正等)が可能になる。
このように、信号処理回路10〜15により、RGBの各色の映像信号毎に別個に(独立に)補正処理が施されることになり、この結果、各信号処理回路10〜15から夫々5本の高速シリアルI/Fによる補正処理済の映像信号が出力されることになる。
ここで、この高速クロスポイントスイッチ16は、6M×3N構成のスイッチであり、これも入力側の高速クロスポイントスイッチ8と同様、信号処理回路10〜15の各FPGAから与えられる制御信号によってクロスポイントの選択が制御される。本例では、入力側と同じ方式の信号に戻すため、出力側の高速クロスポイントスイッチ16内の接続の様態は、入力側の高速クロスポイントスイッチ8とちょうど逆になる。
次に、信号処理回路12と信号処理回路13から出力される各々5チャネルの補正処理済Gチャネル映像信号は、高速シリアルインターフェースI/Fによる8チャネルのGチャネル映像信号として、高速クロスポイントスイッチ16により選択され、出力側コネクタ18に取り出される。
従って、この図1に示すように、高速クロスポイントスイッチ8と高速クロスポイントスイッチ16のクロスポイントを選択することにより、処理ユニット7を単色画像処理ユニットとして機能させることができる。
そして、RGB各8チャネルの映像信号は、高速クロスポイントスイッチ8の制御により、6チャネル毎の映像信号4組として選択され、FPGA1〜FPGA4の夫々からなる信号処理回路10〜13に入カされる。
そこで、まず、信号処理回路10には、RチャネルとGチャネル及びBチャネルの各映像信号の1チャネルと2チャネルの2チャネル分が入力される。そして、これらR映像信号とG映像信号及びB映像信号の1チャネルと2チャネルの2チャネル分について、信号処理回路10のFPGA1により、RGB画像に必要な各種補正処理が施される。
次に、信号処理回路11には、RチャネルとGチャネル及びBチャネルの各映像信号の3チャネルと4チャネルの2チャネル分が入カされる。
また、信号処理回路12には、RチャネルとGチャネル及びBチャネルの各映像信号の5チャネルと6チャネルの2チャネル分が入力される。
そして、これらR映像信号とG映像信号及びB映像信号の5チャネルと6チャネルの2チャネル分について、信号処理回路12のFPGA3により、RGB画像に必要な各種補正処理が施される。
従って、RGB画像処理に必要な各種補正処理が、信号処理回路10〜13により、全てのチャネルについて施されることになり、この結果、各信号処理回路10〜13から、夫々6チャネルの補正処理済映像信号が出力される。
そして、これら信号処理回路10〜13から出力される各々2チャネル分の補正処理済RGB映像信号は、高速シリアルI/Fによる8チャネルのRGB映像信号として、高速クロスポイントスイッチ16により選択され、R映像信号は出力側コネクタ17に供給され、G映像信号は出力側コネクタ18に供給され、そしてB映像信号は出力側コネクタ19に供給されることになる。
まず、図3は、例えば米国アナログデバイセス(Analog Devises)社の商品名AD8152によるクロスポイントスイッチを入力側の高速クロスポイントスイッチ8として用いた場合のクロスポイントの選択状態を示したもので、図の上側が高速クロスポイントスイッチ8の入力端子の信号を表わし、同右側は出力端子の信号(各信号処理回路のFPGAに接続される)を表わしている。
信号線の交差部分の×記号は、単色画像処理もしくはRGB画像処理のどちらかにおいて接続が必要な箇所を示しており、R1〜R2チャンネルとFPGA1−I1〜I2は固定であることを利用し、信号線数が36本であっても、34×34のクロスポイントスイッチで実現することができる。
図11において、角が丸い枠で図示したものは、前述の処理ユニット7に相当し、30個の処理ユニットを用いて高精細映像信号処理装置を構成してある。
本例においても3板カメラを想定しており、Bayer配列に伴う色分離補間等が不要なため、単色画像処理を基本している。ただし、ほとんどの処理ユニットは原則、夫々1色しか処理しない点で先の実施形態と異なる。
2 Gセンサ(撮像素子の青色センサ部分)
3 Bセンサ(撮像素子の緑色センサ部分)
4〜6 入力側のコネクタ
7 処理ユニット
8 入力側の高速クロスポイントスイッチ
10〜15 信号処理回路(FPGA1〜FPGAn(n=6)を用いた
信号処理回路)
16 出力側の高速クロスポイントスイッチ
17〜19 出力側のコネクタ
Claims (2)
- 撮像素子から並列読み出しして得た複数のシリアル映像信号を、複数の信号処理基板を用いて処理する方式の高精細映像信号処理装置において、
前記複数の信号処理基板のそれぞれは、
少なくとも1カラーチャネル当りの並列読み出し数に対応するN本以上のシリアル映像入力信号を外部と接続する第1コネクタと、
前記N本以上と同数のシリアル映像出力信号を外部と接続する第2コネクタと、
前記N本以上のシリアル映像入力信号を、任意に選択して、複数であるM本のシリアル映像信号として出力する第1クロスポイントスイッチと、
前記第1クロスポイントスイッチから入力された前記M本のシリアル映像信号に、分担して映像信号処理を施して出力する複数のプログラマブルデバイスと、
前記複数のプログラマブルデバイスから入力された複数のシリアル映像信号を、任意に選択して、前記N本以上と同数のシリアル映像出力信号として前記第2コネクタへ出力する第2クロスポイントスイッチと、を備え、
前記複数の信号処理基板をケーブルにより直列或いは並列に接続して、画像処理を該複数の信号処理基板で並列に行うように構成し、
前記複数のプログラマブルデバイスは、処理する映像信号を単色とし映像の領域分割数を少なくする単色処理方式と、カラーチャネル間の演算を伴い映像の領域分割数を前記単色処理方式より多くするカラー処理方式と、を切替可能とし、
前記第1或いは第2クロスポイントスイッチは、前記信号処理基板の前記複数のプログラマブルデバイスの処理方式に対応して映像信号を束ね直し、該プログラマブルデバイスが単色処理方式で動作するときは、該複数のプログラマブルデバイスの数以下である前記領域分割数に応じて、各分割領域に対応するシリアル映像入力信号或いはシリアル映像出力信号を、対応するプログラマブルデバイスに接続し、更に前記第1クロスポイントスイッチは、隣接する分割領域のシリアル映像信号の一部を冗長にプログラマブルデバイスに入力することで、該プログラマブルデバイスが該冗長な入力をのりしろに利用して領域分割間を横断する処理が行えるように構成したことを特徴とする高精細映像信号処理装置。 - 請求項1に記載の高精細映像信号処理装置において、
前記第1或いは第2クロスポイントスイッチのクロスポイントの選択が、前記プログラマブルデバイスに対する論理情報のローディングにより与えられるように構成され、
前記N本以上のシリアル映像入力信号及びシリアル映像出力信号は、1画面を構成する高速シリアル映像信号の全部であり、
前記複数の信号処理基板の夫々において、前記N本以上のシリアル映像出力信号は、シリアル映像入力信号と同じ方式となるように前記第2クロスポイントスイッチによって束ね直されて前記第2コネクタから出力され、
前記複数の信号処理基板は、FPN補正と、シェーディング補正と、収差補正と、アパーチャ補正とを、前記単色処理方式により個別の信号処理基板により行い、カラーマスキングと、ディテール補正とを、少なくとも一部において前記カラー処理方式により個別の信号処理基板により行うことを特徴とする高精細映像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009135145A JP5335566B2 (ja) | 2009-06-04 | 2009-06-04 | 高精細映像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009135145A JP5335566B2 (ja) | 2009-06-04 | 2009-06-04 | 高精細映像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010283588A JP2010283588A (ja) | 2010-12-16 |
JP5335566B2 true JP5335566B2 (ja) | 2013-11-06 |
Family
ID=43539950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009135145A Active JP5335566B2 (ja) | 2009-06-04 | 2009-06-04 | 高精細映像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5335566B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5901188B2 (ja) * | 2011-09-12 | 2016-04-06 | キヤノン株式会社 | 撮像装置及び画像処理方法 |
KR20170136546A (ko) | 2015-04-13 | 2017-12-11 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 디코더, 수신기, 및 전자 기기 |
US11431898B2 (en) * | 2017-10-19 | 2022-08-30 | Sony Corporation | Signal processing device and imaging device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1153526A (ja) * | 1997-08-08 | 1999-02-26 | Fujitsu Ltd | 画像処理装置 |
JP2003150331A (ja) * | 2001-11-16 | 2003-05-23 | Canon Inc | 電子機器 |
JP4446919B2 (ja) * | 2005-04-01 | 2010-04-07 | 日信工業株式会社 | 車両用ブレーキ液圧制御装置 |
JP4561447B2 (ja) * | 2005-04-06 | 2010-10-13 | ソニー株式会社 | データ処理装置及びデータ処理方法 |
-
2009
- 2009-06-04 JP JP2009135145A patent/JP5335566B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010283588A (ja) | 2010-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9013611B1 (en) | Method and device for generating a digital image based upon a selected set of chrominance groups | |
US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
US9330480B2 (en) | Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal | |
CN109801586B (zh) | 显示控制器、显示控制方法及系统、显示装置 | |
US8400533B1 (en) | Methods of reducing aberrations in a digital image | |
JPS61154357A (ja) | カラ−画像入力装置 | |
CN101494795B (zh) | 使用绿色光谱范围重叠的单位像素群的图像传感器及方法 | |
US20090147110A1 (en) | Video Processing Device | |
CN104170376A (zh) | 图像处理设备、成像装置、图像处理方法及程序 | |
CN101534384A (zh) | 图像处理方法、图像处理设备和图像捕捉设备 | |
JP2007174117A (ja) | 画像処理回路および画像処理方法 | |
JP4317619B2 (ja) | 画像処理装置 | |
US6346969B1 (en) | Color filter array and its color interpolation apparatus | |
US11546562B2 (en) | Efficient and flexible color processor | |
US20130293750A1 (en) | Image sensing apparatus, method of controlling operation of same and image sensing system | |
JP4190886B2 (ja) | イメージセンサにおける緑色の不均一性の防止 | |
JP2005012692A (ja) | 画像信号処理装置 | |
JP5335566B2 (ja) | 高精細映像信号処理装置 | |
US6967660B2 (en) | Image processing apparatus and image processing system | |
US20100295975A1 (en) | Image processing device and image processing program | |
US6900838B1 (en) | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method | |
US20060114513A1 (en) | Gradation correction apparatus and gradation correction method | |
JP3986877B2 (ja) | 画像処理装置 | |
US6741263B1 (en) | Video sampling structure conversion in BMME | |
US20060279811A1 (en) | Method for adjusting colors of image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5335566 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |