JP7129219B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP7129219B2 JP7129219B2 JP2018101749A JP2018101749A JP7129219B2 JP 7129219 B2 JP7129219 B2 JP 7129219B2 JP 2018101749 A JP2018101749 A JP 2018101749A JP 2018101749 A JP2018101749 A JP 2018101749A JP 7129219 B2 JP7129219 B2 JP 7129219B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- video
- signal
- video signal
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 22
- 230000015654 memory Effects 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 44
- 239000000284 extract Substances 0.000 claims description 10
- 230000000750 progressive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明の実施形態は、撮像装置に関わるものである。 Embodiments of the present invention relate to imaging devices.
映像出力規格であるHDMI(登録商標)(high-definition multimedia interface)規格では、規格対応のため、ハイビジョン以外の映像フォーマット、例えば480pをサポートする必要がある。つまり、1080pの映像を撮像するカメラでも、HDMI規格に準拠するためには480pに変換する回路を実装しなければならない。
1080pの映像フォーマットを480pに変換する方式としては、例えば、1080pから480pの720×480の解像度をそのまま抽出する方式がある。しかし、1080pに対して画角が小さくなり、その分多くのラインメモリが必要となる。
一方、1080pから垂直画素数を最大とした画角、すなわち、1620×1080のような解像度を切り出してリサイズする方式もある。しかし、専用のリサイズ回路が必要となり、さらにリサイズ回路用のメモリも必要となるため、回路規模が大きくなるという問題がある。
The HDMI (registered trademark) (high-definition multimedia interface) standard, which is a video output standard, requires support for video formats other than high-definition, such as 480p, in order to comply with the standard. In other words, even a camera that captures 1080p video must be equipped with a circuit for converting to 480p in order to comply with the HDMI standard.
As a method for converting the video format of 1080p to 480p, for example, there is a method of extracting the resolution of 720×480 from 1080p to 480p as it is. However, the angle of view is smaller than that of 1080p, and accordingly more line memories are required.
On the other hand, there is also a method of extracting and resizing the angle of view with the maximum number of vertical pixels from 1080p, that is, resolution such as 1620×1080. However, since a dedicated resizing circuit is required and a memory for the resizing circuit is also required, there is a problem that the circuit scale becomes large.
本実施形態の目的は、規格対応を低コストかつ小規模に実現することにある。 An object of the present embodiment is to achieve standard compliance at low cost and on a small scale.
本実施形態に係る撮像装置は、イメージセンサと、処理部とを含む。イメージセンサは、行列状に配置された画素群を含む。処理部は、前記イメージセンサから第1の映像規格に適合する画素群に対応する映像信号群を読み出し、前記画素群に含まれる切り出し領域の画素に対応する、前記映像信号群の一部を、前記第1の映像規格とは異なる第2の映像規格に適合するように間引きながらメモリに書き込む。 An imaging device according to this embodiment includes an image sensor and a processing unit. The image sensor includes pixels arranged in rows and columns. The processing unit reads a video signal group corresponding to a pixel group conforming to a first video standard from the image sensor, and part of the video signal group corresponding to the pixels of the cutout region included in the pixel group, The data is written into the memory while being thinned so as to conform to the second video standard different from the first video standard.
以下、図面を参照しながら本実施形態に係わる撮像装置について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。 An imaging apparatus according to this embodiment will be described below with reference to the drawings. In the following embodiments, it is assumed that parts denoted by the same reference numerals perform the same operations, and overlapping descriptions will be omitted as appropriate.
本実施形態に係る撮像装置は、例えば産業用の検査カメラ、計測カメラ、監視カメラまたは顕微鏡用のカメラに搭載されることを想定するが、家庭用のカメラや医療用のカメラに搭載されてもよい。また、本実施形態に係る撮像装置は、動画を撮影することを想定するが、静止画を撮影してもよい。 The imaging device according to the present embodiment is assumed to be installed in, for example, an industrial inspection camera, measurement camera, surveillance camera, or microscope camera. good. Further, although it is assumed that the image capturing apparatus according to the present embodiment captures moving images, it may also capture still images.
本実施形態に係る撮像装置について図1のブロック図を参照して説明する。
本実施形態に係る撮像装置1は、イメージセンサ11と、プロセッサ13と、メモリ15とを含む。
An imaging apparatus according to this embodiment will be described with reference to the block diagram of FIG.
The imaging device 1 according to this embodiment includes an
イメージセンサ11は、一例としてCCD(Charge-Coupled Device)センサ、CMOS(Complementary Metal-Oxide Semiconductor)センサなどの撮像素子である。イメージセンサ11は、行列状に配置され、入力光を受けることにより電気信号を発生する複数の画素を含む。イメージセンサ11は、画素毎に、画素に対応する電気信号を増幅した映像信号を生成する。映像信号は、ここでは、輝度(Y)信号および色差(Pb、Pr)信号を含む信号を想定するが、RGB信号でもよい。
The
プロセッサ13は、イメージセンサ11から映像信号を受け取り、メモリ15への映像信号の書き込み及び映像信号の読み出しの少なくとも一方を制御し、第1の映像規格の映像信号から第2の映像規格に適合する映像信号に変換する変換処理を実行する。また、変換された映像信号は、外部のディスプレイなどに出力され、映像が表示される。
なお、プロセッサ13は、映像信号に対して、ゲイン調整、アナログデジタル変換、カラーバランス調整、ガンマ補正、フィルタ処理などの一般的な信号処理を行ってもよい。
The
Note that the
第1の映像規格は、例えば、1080pのプログレッシブ映像信号を示す。1080pは、有効画素数が1920×1080画素であり、画素クロック周波数が148.5MHzであり、水平周波数は67.433kHzである。
第2の映像規格は、第1の映像規格と異なる規格であり、ここでは第1の映像規格の画素数よりも画素数が少ない480pのプログレッシブ映像信号を示す。480pは、有効画素数が720×480画素であり、画素クロック周波数が27MHzであり、水平周波数が31.369kHzである。
The first video standard indicates, for example, a 1080p progressive video signal. 1080p has an effective pixel count of 1920×1080 pixels, a pixel clock frequency of 148.5 MHz, and a horizontal frequency of 67.433 kHz.
The second video standard is a standard different from the first video standard, and here indicates a 480p progressive video signal having a smaller number of pixels than the number of pixels of the first video standard. 480p has an effective pixel count of 720×480 pixels, a pixel clock frequency of 27 MHz, and a horizontal frequency of 31.369 kHz.
以下、本実施形態では第1の映像規格を1080pとし、第2の映像規格を480pとした時の映像信号の変換処理を例に説明する。なお、これに限らず、第1の映像規格の画素数が第2の映像規格の画素数よりも多ければ、720p、576p、288pといった他の映像規格にも本実施形態の変換処理を適用可能である。 In this embodiment, conversion processing of a video signal when the first video standard is 1080p and the second video standard is 480p will be described as an example. Note that the conversion process of this embodiment is not limited to this, and can be applied to other video standards such as 720p, 576p, and 288p as long as the number of pixels of the first video standard is greater than the number of pixels of the second video standard. is.
メモリ15は、例えば、同時に読み書き可能なデュアルポートRAM(Random Access Memory)であり、プロセッサ13から映像信号を受け取って格納する。
The
なお、イメージセンサ11とプロセッサ13とメモリ15とは、一体としてカメラに搭載されてもよいし、別体でもよい。イメージセンサ11とプロセッサ13とメモリ15とがカメラに一体として搭載される場合は、例えば当該カメラ単体で、撮像から第2の映像規格に準拠した画像信号の出力までを行う。
一方、イメージセンサ11と、プロセッサ13及びメモリ15とが別体として構成される場合は、例えばイメージセンサ11を含むカメラから、当該カメラに搭載される通信インタフェースを介して、プロセッサ13及びメモリ15に映像信号を有線または無線で送信すればよい。
The
On the other hand, when the
次に、本実施形態に係るプロセッサ13の詳細について説明する。
プロセッサ13は、書き込み制御機能131と、読み出し制御機能133と、発生機能135とを含む。
Next, details of the
上述したプロセッサ13における変換処理は、メモリ15に対し、映像信号の書き込み制御、映像信号の読み出し制御、または、映像信号の書き込み制御及び読み出し制御の両方を実行することで実現できる。
The conversion processing in the
変換処理が書き込み制御で実施される場合、書き込み制御機能131は、第1の映像規格(1080p)に適合する画素群に対応する映像信号群から、当該画素群に対して設定される切り出し領域の画素に対応する映像信号群の一部を、第2の映像規格(480p)に適合するように間引きながらメモリ15に書き込む。第2の映像規格に適合するように間引くことを間引き処理とも呼ぶ。
変換処理が読み出し制御で実施される場合、書き込み制御機能131は、第1の映像規格(1080p)に適合する画素群に対応する映像信号群をメモリ15に書き込む。
When the conversion process is performed by write control, the
When the conversion process is performed under read control, the
変換処理が書き込み制御で実施される場合、読み出し制御機能133は、間引き処理されてメモリ15に書き込まれた映像信号群の一部を、第2の映像規格(480p)に適合するように読み出す。
変換処理が読み出し制御で実施される場合、読み出し制御機能133は、メモリ15から、切り出し領域の画素に対応する映像信号群の一部を、第2の映像規格(480p)に適合するように間引きながら読み出す。
When the conversion process is performed by write control, the
When the conversion process is performed by readout control, the
発生機能135は、映像信号をメモリ15に書き込む際のアドレスを示す書き込みアドレス信号(ライトアドレス信号)及び書き込みを制御するライトイネーブル信号と、メモリ15から映像信号を読み出す際のアドレスを示す読み出しアドレス信号(リードアドレス信号)及び読み出しを制御するリードイネーブル信号とを発生する。
The
次に、本実施形態に係る変換処理の概念について図2を参照して説明する。
図2左図は、1080pの画素を示す。図の便宜上、1080pの横方向の画素数(映像の水平方向画素数)を15画素とし、縦方向の画素数(映像の垂直方向ライン数)を9ラインとして説明する。なお実際には、水平方向画素数が1920画素、垂直方向ライン数が1080ライン、つまり1920×1080画素に対して処理されるものとする。
Next, the concept of conversion processing according to this embodiment will be described with reference to FIG.
The left diagram of FIG. 2 shows pixels of 1080p. For convenience of illustration, the number of pixels in the horizontal direction (the number of pixels in the horizontal direction of the image) of 1080p is assumed to be 15 pixels, and the number of pixels in the vertical direction (the number of lines in the vertical direction of the image) of 1080p is assumed to be 9 lines. In practice, it is assumed that the number of pixels in the horizontal direction is 1920 pixels and the number of lines in the vertical direction is 1080 lines, that is, 1920×1080 pixels are processed.
プロセッサ13は、1080pの画素領域の一部を切り出し領域201として設定する。切り出し領域201のサイズは、第2の映像規格(480p)の水平方向画素数及び垂直方向ライン数の整数倍に設定される。本実施形態では、切り出し領域201として、480pの縦横それぞれ2倍である1440×960画素の画素領域が設定される。また、切り出し領域201は、図2の例では1080pの画素領域の中心部分に設定されることを想定するが、1080pの画素領域のうちのどの領域に設定されてもよい。
The
続いて、プロセッサ13は、切り出し領域201について当該整数倍の画素毎かつ当該整数倍のライン毎の画素に対応する映像信号を抽出することで間引き処理を実行する。図2では、切り出し領域201は、480pのサイズ720×480画素の縦横2倍に設定したので、2画素毎かつ2ライン毎に画素が抽出される。つまり、プロセッサ13は、2画素を一単位として、当該2画素の中から1画素を抽出し、2ラインを一単位として、当該2ラインの中から1ラインを抽出し、抽出された画素に対応する映像信号をメモリ15に書き込めばよい。ここでは、奇数番目の画素かつ奇数番目のライン(以下、奇数画素かつ奇数ラインと呼ぶ)が抽出される間引き処理が実行される。つまり、水平方向の1ラインに属する1920個の画素のうち、第1番目の画素,第3番目の画素,・・・,第1919番目の画素といったように奇数画素が抽出され、かつ、垂直方向に第1番目のライン,第3番目のライン,・・・,第1079番目のラインといったように奇数ラインが抽出されることで、間引き処理が実行される。結果として、図2左図に示すように、奇数ラインにおいて、白塗りで示す奇数画素が抽出され、斜線で示す偶数画素は抽出されない。
Subsequently, the
図2右図は、1080pから480pに変換した後の概念図である。切り出し領域201に含まれる画素のうち、抽出された画素は奇数画素かつ奇数ラインである。つまり、1440×960画素のうちの水平方向1画素おきかつ垂直方向1ラインおきに画素が抽出されるため、480pの有効画素数である720×480画素を出力領域202として生成することができる。切り出し領域201の画角は1440×960画素の領域であるため、出力領域202の画角は、単純に480pの映像規格の720×480画素を切り出すよりも大きくすることができる。
The right figure in FIG. 2 is a conceptual diagram after conversion from 1080p to 480p. Among the pixels included in the
なお、先に切り出し領域201を設定してから間引き処理を実行してもよい。また、2画素毎かつ2ライン毎の間引き処理として、奇数画素かつ奇数ラインを読み出す場合について説明したが、偶数番目の画素かつ偶数番目のラインを読み出してもよいし、画素とラインとで奇偶が異なっていてもよい。さらに、1ラインにおいて、1番目の2画素単位では、奇数画素を抽出し、2番目の2画素単位では、偶数画素を抽出するような間引き処理でもよい。偶数の場合も奇数の場合と同様の処理で間引き処理を実現できる。
It should be noted that the thinning process may be executed after setting the
次に、具体的な変換処理を実現するハードウェア構成の一例について図3のブロック図を参照して説明する。
図3は、変換処理に関するメモリ15に対する主な信号の入出力を示したハードウェア構成の一例である。
Next, an example of a hardware configuration for realizing specific conversion processing will be described with reference to the block diagram of FIG.
FIG. 3 is an example of a hardware configuration showing input/output of main signals to/from the
図3に示す撮像装置1は、メモリ15と、第1のアドレス発生回路301と、第2のアドレス発生回路303と、同期信号生成回路305とを含む。第1のアドレス発生回路301は、書き込み制御機能131を実現する。第2のアドレス発生回路303は、読み出し制御機能133を実現する。第1のアドレス発生回路301と、第2のアドレス発生回路303と、同期信号生成回路305とはプロセッサ13の発生機能135を実現する。
The imaging device 1 shown in FIG. 3 includes a
第1のアドレス発生回路301は、ライトアドレス信号(w_add)及びライトイネーブル信号(w_en)を発生する。
第2のアドレス発生回路303は、リードアドレス信号(r_add)及びリードイネーブル信号(r_en)を発生する。
同期信号生成回路305は、480pの同期信号を受け取り、1080pのアドレスと480pのアドレスとを水平方向及び垂直方向に同期させるための同期信号を生成する。具体的には、1080pの画素に関するアドレスの水平同期信号H1及び垂直同期信号V1と、480pの画素に関するアドレスの水平同期信号H2及び垂直同期信号V2を生成する。ここで、少なくともV1とV2とが同期しているものとする。
A first
A second
The sync
間引き処理は、読み出し制御で実施してもよいし、書き込み制御で実施してもよいし、または、書き込み制御及び読み出し制御の両方で実施してもよい。 The thinning process may be performed under read control, write control, or both write control and read control.
(第1の実施例)
まず、間引き処理を読み出し制御で実施する場合の一例について説明する。
1080pの映像信号のメモリ15への書き込み処理時は、メモリ15に対し、イメージセンサ11からの1080pの映像信号と、1080pに関する第1の画素クロック信号(CLK1)と、第1のアドレス発生回路301からのライトアドレス信号(w_add)及びライトイネーブル信号(w_en)とが入力される。
(First embodiment)
First, an example in which the thinning process is performed by read control will be described.
When the 1080p video signal is written to the
第1のアドレス発生回路301には、第1の画素クロック信号と、同期信号生成回路305から同期信号として1080pの画素に関するアドレス(H1,V1)の信号とが入力される。第1のアドレス発生回路301は、同期信号に基づき、第1の画素クロック信号に従いアドレスをカウント(インクリメント)しながら、ライトアドレス信号とライトイネーブル信号とを発生する。ライトアドレス信号は、1080pの画素それぞれについて、水平方向Hと垂直方向Vとの値で規定される固有のアドレスを示す信号である。ライトイネーブル信号は、映像信号のメモリ15へ書き込み処理を制御する信号である。例えば、ライトイネーブル信号が「High」の状態(ON状態)の場合、書き込み処理が行われる。また、以降では、「ライトイネーブル信号がON状態」であることを、「ライトイネーブル信号が有効」であると読み替えてもよい。
The first
ここでは、1080pの全画素がメモリ15に書き込まれるため、ライトイネーブル信号が有効である間、ライトアドレス信号で指定される1920×1080の各画素に対応する映像信号が書き込まれる。
Here, since all pixels of 1080p are written to the
一方、メモリ15からの映像信号の読み出し処理時は、メモリ15に対し、480pの第2の画素クロック信号(CLK2)と、第2のアドレス発生回路303からリードアドレス信号(r_add)及びリードイネーブル信号(r_en)とが入力される。
On the other hand, when the video signal is read from the
第2のアドレス発生回路303には、第2の画素クロック信号と、同期信号生成回路305から同期信号として、480pの画素に関するアドレス(H2,V2)及び切り出し領域201の画素領域(1440×960画素)を指定する信号とが入力される。リードアドレス信号は、480pの画素それぞれについて、水平方向H2と垂直方向V2との値で規定される固有のアドレスを示す信号である。リードイネーブル信号は、映像信号のメモリ15からの読み出しを制御する信号である。例えば、リードイネーブル信号が「High」の状態(ON状態)の場合、読み出し処理が行われる。言い換えれば、リードイネーブル信号が有効である場合にメモリ15からの読み出し処理が行われる。ここでは、リードイネーブル信号は、リードアドレス信号によって切り出し領域201に含まれる奇数画素かつ奇数ラインのアドレスが指定される際に有効となる。
The second
すなわち、リードイネーブル信号が有効である間、リードアドレス信号によって指定される切り出し領域201内の奇数画素かつ奇数ラインのアドレスに対応する映像信号が、480pに関するクロック周波数に従って読み出される。言い換えれば、切り出し領域201内の2画素毎かつ2ライン毎に画素がメモリ15から読み出され(間引き読み出しともいう)、結果として1440×960画素の4分の1の画素数で、480pの画素サイズである720×480画素が読み出される。
That is, while the read enable signal is valid, video signals corresponding to odd-numbered pixel and odd-numbered line addresses within the
次に、読み出しの同期処理について、図4の概念図を用いて説明する。
図4は、水平同期信号H1及び垂直同期信号V1と、水平同期信号H2及び垂直同期信号V2とに関するタイミングチャートである。
読み出した映像信号のディスプレイ等への出力について、映像信号の出力は、1080pと480pとで同じフレームレートを想定している。よって、書き込み処理と読み出し処理との間で、いわゆる「追い越し現象」が発生しないように、アドレスを同期させる。
図4に示すように、水平方向は、1080p規格の水平同期信号H1により映像信号がメモリ15に書き込まれる一方、480p規格の水平同期信号H2により映像信号がメモリ15から読み出される。垂直方向は、1フレームの切り替わりを同期させるように、1080p規格の垂直同期信号V1と480p規格の垂直同期信号V2とが同期する。
これにより、読み出された映像信号が480pの描画タイミングに応じて出力される。
Next, read synchronization processing will be described with reference to the conceptual diagram of FIG.
FIG. 4 is a timing chart regarding the horizontal synchronizing signal H1, the vertical synchronizing signal V1, and the horizontal synchronizing signal H2 and the vertical synchronizing signal V2.
Regarding the output of the read video signal to a display or the like, the output of the video signal is assumed to have the same frame rate for 1080p and 480p. Therefore, the addresses are synchronized between the write process and the read process so that the so-called "overtaking phenomenon" does not occur.
As shown in FIG. 4, in the horizontal direction, the video signal is written into the
As a result, the read video signal is output according to the drawing timing of 480p.
(第2の実施例)
次に、間引き処理を書き込み制御で実施する場合について説明する。
メモリ15への1080pの映像信号の書き込み処理時は、メモリ15に対し、イメージセンサ11からの1080pの映像信号と、1080pに関する第1の画素クロック信号と、第1のアドレス発生回路301からのライトアドレス信号及びライトイネーブル信号とが入力される。
(Second embodiment)
Next, a case where the thinning process is performed by write control will be described.
When writing the 1080p video signal to the
第1のアドレス発生回路301には、第1の画素クロック信号と、同期信号生成回路305からの同期信号とが入力される。ここで、同期信号には、切り出し領域201に含まれる奇数画素かつ奇数ラインのアドレスを指定する信号が含まれる。よって、第1のアドレス発生回路301は、1080pの奇数画素かつ奇数ラインに対応する映像信号のみメモリ15に書き込むように、つまり間引き書き込みを実行するように、ライトアドレス信号とライトイネーブル信号とを発生する。
結果として、1080pの奇数画素かつ奇数ラインに対応する960×540画素の映像信号がメモリ15に書き込まれる。
A first pixel clock signal and a synchronization signal from a synchronization
As a result, a video signal of 960×540 pixels corresponding to 1080p odd pixels and odd lines is written in the
一方、メモリ15からの映像信号の読み出し処理時は、メモリ15に対し、480pの第2の画素クロック信号と、第2のアドレス発生回路303からリードアドレス信号及びリードイネーブル信号とが入力される。
On the other hand, when the video signal is read from the
ここで、映像信号は、書き込み処理側ですでに間引き処理されていることから、読み出し処理側で間引き読み出しを実行する必要がない。よって、第2のアドレス発生回路303は、480pの720×480画素を読み出すような、リードアドレス信号及びリードイネーブル信号を発生する。なお、間引き書き込みされた映像信号から480pの画素サイズの映像信号を抽出することは、切り出し領域201の画素領域から480pの画素サイズを間引き読み出ししたことと同義となる。よって、画角はどちらも同じである。
結果として、間引き書き込みを実行する場合も、間引き読み出しを実行する場合と同様に、切り出し領域の画角を維持したまま1080pから480pへ変換できる。
Here, since the video signal has already been thinned on the write processing side, it is not necessary to perform thinning readout on the read processing side. Therefore, the second
As a result, even when thinned write is executed, similarly to when thinned read is executed, conversion from 1080p to 480p can be performed while maintaining the angle of view of the cropped region.
次に、間引き書き込みの制御例について図5および図6を参照して説明する。
間引き書き込みを、ライトアドレス信号を用いて制御する場合について、図5のシーケンスを参照して説明する。図5の例では、上から順に、1080pのクロック信号(CLK1)、ライトイネーブル信号(w_en)、映像信号、ライトアドレス信号(w_add)及び書き込み映像信号の時系列シーケンスを示す。
Next, an example of thinning write control will be described with reference to FIGS. 5 and 6. FIG.
A case in which thinning write is controlled using a write address signal will be described with reference to the sequence in FIG. In the example of FIG. 5, a time-series sequence of a 1080p clock signal (CLK1), a write enable signal (w_en), a video signal, a write address signal (w_add), and a write video signal is shown from top to bottom.
プロセッサ13は、ライトイネーブル信号が有効である場合(ここでは、「H」となった場合)、イメージセンサ11から取得した映像信号を、クロック信号「CLK1」に従ってライトアドレス信号で指定されるアドレスと対応付けて書き込む。
When the write enable signal is valid (here, when it becomes "H"), the
ここでは、奇数ラインについて書き込み処理する場合を想定するので、先頭の1番目のアドレスでは、ライトアドレス信号のアドレス「A1」と映像信号「S1」とが書き込み映像信号としてメモリ15に書き込まれる。
Here, since it is assumed that write processing is performed for odd lines, the address "A1" of the write address signal and the video signal "S1" are written to the
次に、間引かれる画素に対応する2番目の映像信号「S2」と次の書き込み対象である3番目の映像信号「S3」とのアドレスを、同じアドレス「A2」とする。つまり、先頭のアドレス以外は、2クロックごとに1つ、アドレスがインクリメントされる。 Next, the addresses of the second video signal "S2" corresponding to the pixels to be thinned out and the third video signal "S3" to be written next are set to the same address "A2". That is, the addresses are incremented by one every two clocks except for the first address.
これにより、映像信号「S2」が次の映像信号「S3」で上書きされ、アドレス「A2」は映像信号「S3」が書き込み映像信号として対応付けられ、メモリ15に書き込まれる。同様に、映像信号「S4」と「S5」とのアドレスを同じ「A3」にすることで、映像信号「S4」が次の映像信号「S5」で上書きされ、アドレス「A3」では映像信号「S5」が書き込み映像信号として対応付けられ、メモリ15に書き込まれる。
As a result, the video signal “S2” is overwritten with the next video signal “S3”, and the video signal “S3” is associated with the address “A2” as the write video signal and written in the
なお、間引かれる偶数番目のラインでは、当該ラインの全画素について書き込み処理が行われないため、ライトイネーブル信号が無効となるように(図5では、信号値を「L」とする)設定されればよい。
結果として、書き込み映像信号は「S1」「S3」「S5」となり、上述の処理が奇数ラインで行われることで、間引き書き込みが実行される。
In the even-numbered lines to be thinned out, since write processing is not performed for all pixels of the lines, the write enable signal is set to be invalid (the signal value is set to "L" in FIG. 5). All you have to do is
As a result, the video signals to be written become "S1", "S3", and "S5", and thinning writing is executed by performing the above-described processing on the odd lines.
次に、間引き書き込みをライトイネーブル信号を用いて制御する一例を、図6のシーケンスを参照して説明する。
図6に示す各信号の種類については、図5と同様である。図6では、ライトイネーブル信号が、クロック信号「CLK1」にあわせて奇数ラインかつ奇数番目の画素のタイミングで有効とするように設定される。なお、ライトアドレス信号は、先頭から2クロックごとに1つ、アドレスをインクリメントするように設定される。
Next, an example of controlling thinning write using a write enable signal will be described with reference to the sequence in FIG.
The types of each signal shown in FIG. 6 are the same as in FIG. In FIG. 6, the write enable signal is set to be valid at the timing of the odd-numbered line and the odd-numbered pixel in accordance with the clock signal "CLK1". The write address signal is set to increment the address every two clocks from the beginning.
具体的には、クロック信号「CLK1」の1つ置きのタイミングで、ライトイネーブル信号を有効とする。これにより、映像信号「S1」「S3」「S5」がそれぞれアドレス「A1」「A2」「A3」となるように決定される。 Specifically, the write enable signal is enabled at every other timing of the clock signal "CLK1". As a result, the video signals "S1", "S3" and "S5" are determined to be the addresses "A1", "A2" and "A3", respectively.
上述の間引き書き込みでは、イメージセンサ11側では特段の処理を行わず、イメージセンサ11から全画素領域に関する映像信号がメモリ15に流れ込み、プロセッサ13において間引き書き込みを制御する。
なお、これに限らず、メモリ15に映像信号を書き込む際にイメージセンサ11から部分読み出し処理を行ってもよい。例えば、プロセッサ13が、イメージセンサ11からの部分読み出しを奇数画素及び奇数ラインに設定し、当該奇数画素及び奇数ラインに対応する映像信号に部分読み出し処理を行えばよい。例えば、奇数画素及び奇数ラインの画素位置情報に対応する画素からの電気信号のみを出力する部分読み出し処理を行う。なお、イメージセンサ115における部分読み出し処理は一般的な手法を用いればよく、ここでの説明は省略する。
In the thinning write described above, the
Note that the process is not limited to this, and partial readout processing may be performed from the
メモリ15に書き込まれた映像信号について切り出し領域201の画素に対応する映像信号をそのまま読み出すことで間引き読み出しを実現でき、映像信号を1080pから480pに変換できる。
By reading the video signal corresponding to the pixels in the
次に、書き込み制御及び読み出し制御の両方で実施する場合について説明する。
例えば、書き込み制御では、書き込み制御機能131を実行することでプロセッサ13が、1080pの全ラインのうちの奇数ラインのみメモリ15に書き込むような間引き書き込みを行う。一方、読み出し制御では、読み出し制御機能133を実行することでプロセッサ13が、メモリ15に書き込まれたライン、すなわち、奇数ラインについて奇数画素のみを読み出すことで、映像信号を1080pから480pに変換できる。このように、間引き処理を分担してもよい。
Next, a case of performing both write control and read control will be described.
For example, in write control, by executing the
また、反対に、書き込み制御では、書き込み制御機能131を実行することでプロセッサ13が、1080pの奇数画素のみメモリ15に書き込む。読み出し制御では、読み出し制御機能133を実行することでプロセッサ13が、メモリ15に書き込まれた画素について奇数ラインのみを読み出すように、間引き処理を分担してもよい。
Conversely, in write control, the
次に、いわゆる4K(2160p)及び8K(4320p)といった超高解像度の場合でも同様に、2160pまたは4320pから480pに変換できる。 Then, in the case of ultra-high resolutions such as so-called 4K (2160p) and 8K (4320p), it is possible to convert from 2160p or 4320p to 480p as well.
4K解像度から480pに変換する場合の概念について図7に示す。
図7に示すように、水平方向画素数3840及び垂直方向ライン数2160画素から、切り出し領域201として、480pの水平方向画素数及び垂直方向ライン数の整数倍となる、縦横それぞれ4倍の2880×1920画素が設定される。
プロセッサ13は、切り出し領域201の画素領域内の画素を、4画素毎かつ4ライン毎に間引き処理を行い、切り出し領域に対応する映像信号群の一部をメモリ15に書き込む。つまり、プロセッサ13は、4画素を一単位として、当該4画素の中から1画素を抽出し、4ラインを一単位として、当該4ラインの中から1ラインを抽出し、抽出された画素に対応する映像信号をメモリ15に書き込めばよい。
FIG. 7 shows the concept of conversion from 4K resolution to 480p.
As shown in FIG. 7, from 3840 pixels in the horizontal direction and 2160 pixels in the vertical direction, the
The
次に、8Kから480pに変換する場合の概念について図8に示す。
図8に示すように、水平方向画素数7680及び垂直方向ライン数4320画素から、切り出し領域201として、480pの水平方向画素数及び垂直方向ライン数の整数倍となる、縦横それぞれ8倍の5760×3840画素が設定される。
よって、プロセッサ13は、切り出し領域201の画素領域内の画素を、8画素毎かつ8ライン毎に間引き処理を行い、切り出し領域に対応する映像信号群の一部をメモリ15に書き込めばよい。つまり、プロセッサ13は、8画素を一単位として、当該8画素の中から1画素を抽出し、8ラインを一単位として、当該8ラインの中から1ラインを抽出し、抽出された画素に対応する映像信号をメモリ15に書き込めばよい。
Next, FIG. 8 shows the concept of conversion from 8K to 480p.
As shown in FIG. 8, from 7680 pixels in the horizontal direction and 4320 pixels in the vertical direction, the
Therefore, the
本実施形態では、第1の映像規格及び第2の映像規格の映像信号は、プログレッシブ信号である場合について説明したが、インタレース信号の場合も同様に変換処理を実現できる。つまり、本実施形態に係る撮像装置1は、1080iの映像信号から480iの映像信号に変換できる。また、プロセッサ13は、映像を空間的に滑らかにするため、間引き前の映像信号にフィルタ処理等を施してもよい。フィルタ処理を施すことにより、折り返しノイズの発生を防止し、変換後の画像品位を向上させることができる。
In this embodiment, the case where the video signals of the first video standard and the second video standard are progressive signals has been described, but conversion processing can be similarly realized in the case of interlaced signals. That is, the imaging apparatus 1 according to the present embodiment can convert a 1080i video signal into a 480i video signal. In addition, the
以上に示した本実施形態によれば、第1の映像規格の画素領域から第2の映像規格の画素領域の整数倍に対応する画素領域を切り出し領域として切り出し、切り出した領域について当該整数倍の画素毎かつ当該整数倍のライン毎の画素に対応する映像信号を抽出する。
これによって、第1の映像規格から第2の映像規格に映像信号の変換処理を実行する場合に、第2の映像規格の画素領域をそのまま切り出す場合と同様の回路規模で、かつ画角を大きくすることができる。すなわち、規格対応を低コストかつ小規模に実現できる。また、小規模のロジック回路に変換処理を実装することができるので、消費電力を少なくすることも可能である。
According to the present embodiment described above, a pixel region corresponding to an integral multiple of the pixel region of the second video standard is cut out from the pixel region of the first video standard as a cut-out region, and the cut-out region is the integral multiple of the pixel region. A video signal corresponding to each pixel and each line of the integral multiple is extracted.
As a result, when converting the video signal from the first video standard to the second video standard, the same circuit scale as in the case of extracting the pixel area of the second video standard as it is, and the angle of view is increased. can do. In other words, standard compliance can be achieved at low cost and on a small scale. Moreover, since conversion processing can be implemented in a small-scale logic circuit, power consumption can be reduced.
上述した各回路は、これら専用のハードウェア回路を組み込んだ特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、フィールド・プログラマブル・ゲート・アレイ(Field Programmable Logic Device:FPGA)、他の複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、又は単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)により実現されてもよい。
また、各回路に関する処理をCPUに統合し、CPUが各処理を実行してよい。
Each of the circuits described above may be an Application Specific Integrated Circuit (ASIC), a Field Programmable Logic Device (FPGA), or other complex programmable logic incorporating these dedicated hardware circuits. It may be implemented by a Complex Programmable Logic Device (CPLD) or a Simple Programmable Logic Device (SPLD).
Alternatively, the processing related to each circuit may be integrated into a CPU, and the CPU may execute each processing.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.
1 撮像装置
11 イメージセンサ
13 プロセッサ
15 メモリ
131 書き込み制御機能
133 読み出し制御機能
135 発生機能
201 切り出し領域
202 出力領域
301 第1のアドレス発生回路
303 第2のアドレス発生回路
305 同期信号生成回路
1
Claims (9)
前記イメージセンサから第1の映像規格に適合する画素群に対応する映像信号群を読み出し、前記画素群に含まれる切り出し領域の画素に対応する、前記映像信号群の一部を、前記第1の映像規格とは異なる第2の映像規格に適合するように間引きながらメモリに書き込む処理部と、
を備えた撮像装置。 an image sensor including a group of pixels arranged in a matrix;
A video signal group corresponding to a pixel group conforming to a first video standard is read out from the image sensor, and a part of the video signal group corresponding to the pixels of the cutout region included in the pixel group is read by the first video signal group. a processing unit that writes to a memory while thinning so as to comply with a second video standard that is different from the video standard;
imaging device.
前記イメージセンサから第1の映像規格に適合する画素群に対応する映像信号群を読み出し、前記映像信号群をメモリに書き込み、前記メモリから、前記画素群に含まれる切り出し領域の画素に対応する、前記映像信号群の一部を、前記第1の映像規格とは異なる第2の映像規格に適合するように間引きながら読み出す処理部と、
を備えた撮像装置。 an image sensor including a group of pixels arranged in a matrix;
A video signal group corresponding to a pixel group conforming to the first video standard is read from the image sensor, the video signal group is written to a memory, and the pixel group is read from the memory. a processing unit that reads a part of the video signal group while thinning out so as to comply with a second video standard different from the first video standard;
imaging device.
前記第2の映像規格は、720画素×480画素であり、 The second video standard is 720 pixels x 480 pixels,
前記メモリに書き込む領域は、960画素×540画素である、請求項1に記載の撮像装置。 2. The imaging device according to claim 1, wherein the area to be written in said memory is 960 pixels by 540 pixels.
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、1440画素×960画素に対応し、
前記処理部は、2画素毎かつ2ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 The first video standard is 1920 pixels x 1080 pixels,
The second video standard is 720 pixels x 480 pixels,
The clipping area corresponds to 1440 pixels x 960 pixels,
The imaging apparatus according to any one of claims 1 to 4 , wherein the processing section thins out part of the video signal group every two pixels and every two lines.
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、2880画素×1920画素に対応し、
前記処理部は、4画素毎かつ4ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 The first video standard is 3840 pixels x 2160 pixels,
The second video standard is 720 pixels x 480 pixels,
The clipping area corresponds to 2880 pixels x 1920 pixels,
The imaging apparatus according to any one of claims 1 to 4 , wherein the processing section thins out a part of the video signal group every four pixels and every four lines.
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、5760画素×3840画素に対応し、
前記処理部は、8画素毎かつ8ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 The first video standard is 7680 pixels x 4320 pixels,
The second video standard is 720 pixels x 480 pixels,
The clipping area corresponds to 5760 pixels x 3840 pixels,
The imaging apparatus according to any one of claims 1 to 4 , wherein the processing section thins out a part of the video signal group every eight pixels and every eight lines.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018101749A JP7129219B2 (en) | 2018-05-28 | 2018-05-28 | Imaging device |
JP2022128997A JP7357734B2 (en) | 2018-05-28 | 2022-08-12 | Imaging device and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018101749A JP7129219B2 (en) | 2018-05-28 | 2018-05-28 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128997A Division JP7357734B2 (en) | 2018-05-28 | 2022-08-12 | Imaging device and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019208109A JP2019208109A (en) | 2019-12-05 |
JP7129219B2 true JP7129219B2 (en) | 2022-09-01 |
Family
ID=68767845
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018101749A Active JP7129219B2 (en) | 2018-05-28 | 2018-05-28 | Imaging device |
JP2022128997A Active JP7357734B2 (en) | 2018-05-28 | 2022-08-12 | Imaging device and its control method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128997A Active JP7357734B2 (en) | 2018-05-28 | 2022-08-12 | Imaging device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7129219B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023040A (en) | 1998-06-30 | 2000-01-21 | Toshiba Corp | Solid-state image pickup device and system on-chip solid- state image pickup device |
JP2004248320A (en) | 2004-04-21 | 2004-09-02 | Canon Inc | Image recording and reproducing apparatus |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3164481B2 (en) * | 1994-12-20 | 2001-05-08 | シャープ株式会社 | Imaging device |
JP3614334B2 (en) | 1999-12-22 | 2005-01-26 | 株式会社日立製作所 | Video signal processing device |
JP5705037B2 (en) | 2011-06-08 | 2015-04-22 | 株式会社日立国際電気 | Video processing device |
-
2018
- 2018-05-28 JP JP2018101749A patent/JP7129219B2/en active Active
-
2022
- 2022-08-12 JP JP2022128997A patent/JP7357734B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023040A (en) | 1998-06-30 | 2000-01-21 | Toshiba Corp | Solid-state image pickup device and system on-chip solid- state image pickup device |
JP2004248320A (en) | 2004-04-21 | 2004-09-02 | Canon Inc | Image recording and reproducing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2019208109A (en) | 2019-12-05 |
JP7357734B2 (en) | 2023-10-06 |
JP2022161981A (en) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9215385B2 (en) | System and method for an image sensor operable in multiple video standards | |
KR100873880B1 (en) | Image processing apparatus and image processing method | |
US9569160B2 (en) | Display processing device and imaging apparatus | |
US9658815B2 (en) | Display processing device and imaging apparatus | |
TWI649864B (en) | Image sensing device and image sensing method | |
JP6948810B2 (en) | Image processing system | |
US9479682B2 (en) | Video signal processing device and display apparatus | |
US8970766B2 (en) | Imaging device | |
JP7129219B2 (en) | Imaging device | |
US20130162873A1 (en) | Imaging apparatus | |
JP2004260265A (en) | Pixel extracting circuit having pixel turning over function, and image pickup apparatus | |
JP4697094B2 (en) | Image signal output apparatus and control method thereof | |
JP6021556B2 (en) | Image processing device | |
JP2008244800A (en) | Imaging device and method | |
WO2017086218A1 (en) | Camera control device and television camera | |
JP5965173B2 (en) | Moving image processing system, image processing apparatus, and moving image processing system operating method | |
JP2687346B2 (en) | Video processing method | |
US9077841B2 (en) | Video processing apparatus and video processing method | |
KR100672617B1 (en) | High definition deinterlacing processing device and the method thereof | |
JP4919412B2 (en) | Solid-state imaging device | |
US10250829B2 (en) | Image processing apparatus that uses plurality of image processing circuits | |
US9277145B2 (en) | Imaging device dividing imaging region into first divided image data and second divided image data | |
JP2006005596A (en) | Semiconductor integrated circuit device and imaging device | |
JP2010041173A (en) | Data processor | |
JPS63292782A (en) | Reducing system for television picture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191001 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |