JP6207173B2 - Signal processing apparatus, control method thereof, and control program - Google Patents
Signal processing apparatus, control method thereof, and control program Download PDFInfo
- Publication number
- JP6207173B2 JP6207173B2 JP2013030889A JP2013030889A JP6207173B2 JP 6207173 B2 JP6207173 B2 JP 6207173B2 JP 2013030889 A JP2013030889 A JP 2013030889A JP 2013030889 A JP2013030889 A JP 2013030889A JP 6207173 B2 JP6207173 B2 JP 6207173B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- processing
- geometric distortion
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 155
- 238000000034 method Methods 0.000 title claims description 49
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000012937 correction Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241000226585 Antennaria plantaginifolia Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000011045 prefiltration Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Structure And Mechanism Of Cameras (AREA)
Description
本発明は、信号処理装置、その制御方法、および制御プログラムに関し、特に、撮影の際に画像を表示する場合の表示時間の遅延を低減する信号処理装置に関する。 The present invention relates to a signal processing device, a control method therefor, and a control program, and more particularly to a signal processing device that reduces a delay in display time when an image is displayed during shooting.
一般に、デジタルビデオカメラ又はデジタルカメラなどの撮像装置では、撮影の際に被写体を確認するため、液晶又は有機ELなどのディスプレイ(パネル)又は電子ビューファインダー(EVF)などの表示装置を備えている。 In general, an imaging device such as a digital video camera or a digital camera includes a display device such as a display (panel) such as a liquid crystal or an organic EL or an electronic viewfinder (EVF) in order to confirm a subject at the time of shooting.
パネルには、ユーザーが目視する被写体が記録される画像の画質でリアルタイムに表示されることが望ましい。一方、近年、記録画像の多画素化、そして、画質改善機能が多機能化したことに起因して信号処理に時間が掛かり、パネルに表示する際に表示遅延が生じている。表示遅延があると、パン、チルト、又はズームなどの操作の際にユーザーに違和感を与えてしまい、構図およびフォーカスなどの確認が困難となってしまう。 It is desirable that the panel displays the subject viewed by the user in real time with the image quality of the recorded image. On the other hand, signal processing takes time due to the increase in the number of pixels of the recorded image and the enhancement of the image quality improvement function in recent years, causing a display delay when displaying on the panel. If there is a display delay, the user feels uncomfortable during operations such as panning, tilting, and zooming, making it difficult to check composition and focus.
また、表示遅延量(遅延時間)は撮影フレームレートにも依存するので、フレームレートが遅いと表示遅延量は大きくなる。撮像装置の構成にもよるが、例えば、フレームレートが24Hzであると、フレームレートが60Hzの場合に比べても表示遅延量が2.5倍大きくなることが知られている。 Since the display delay amount (delay time) also depends on the shooting frame rate, the display delay amount increases when the frame rate is slow. Although depending on the configuration of the imaging apparatus, for example, it is known that when the frame rate is 24 Hz, the display delay amount is 2.5 times larger than when the frame rate is 60 Hz.
ところで、テレビジョンにおいても画質改善機能の多機能化に起因して、同様の問題が存在する。例えば、テレビにゲーム機器を接続してゲームを行う際、テレビにおいて画質改善処理を行うと表示遅延が生じてしまう。この結果、ユーザーの操作が遅れてしまい、当該操作遅延がゲームの結果に影響することがあるばかりでなく、ユーザーに違和感を与えることがある。 By the way, the same problem exists in television due to the multifunctional image quality improvement function. For example, when a game is connected to a television and a game is played, display delay occurs when image quality improvement processing is performed on the television. As a result, the user's operation is delayed, and the operation delay may not only affect the game result but also give the user a sense of incongruity.
このような表示遅延を低減するため、例えば、映像信号を信号処理して、表示映像信号を表示パネルに出力する際、映像信号に対する表示映像信号の遅延時間が短い低遅延処理の動作を選択的に行って、表示モジュールに合わせてスケーリング処理を行うようにしたものがあり、ここでは、画質改善処理などの信号処理を簡略化して表示遅延を低減するようにしている(特許文献1参照)。 In order to reduce such display delay, for example, when processing a video signal and outputting the display video signal to a display panel, an operation of low delay processing with a short delay time of the display video signal with respect to the video signal is selectively performed. In this case, the scaling processing is performed in accordance with the display module. Here, the signal processing such as the image quality improvement processing is simplified to reduce the display delay (see Patent Document 1).
ところが、特許文献1に記載の手法は、テレビなどの受像機において生じる映像信号と表示映像信号との遅延を低減するものであり、ここでは、少なくとも1フレーム分の遅延が不可避的に生じてしまう。このため、デジタルカメラなどの撮像装置で当該手法を用いたとしても、撮影の際に、つまり、撮像装置の操作の際に生じる違和感を低減して構図およびフォーカスなどの確認を良好に行うことは困難である。 However, the technique described in Patent Document 1 reduces the delay between a video signal and a display video signal generated in a receiver such as a television. Here, a delay of at least one frame is inevitably generated. . For this reason, even if the method is used with an imaging device such as a digital camera, it is possible to reduce the uncomfortable feeling that occurs during shooting, that is, when operating the imaging device, and to check composition and focus well. Have difficulty.
従って、本発明の目的は、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことのできる信号処理装置、その制御方法、および制御プログラムを提供することにある。 Therefore, an object of the present invention is to reduce the display delay time of the image displayed on the display unit during shooting, to reduce the uncomfortable feeling during the shooting operation, and to satisfactorily check the composition and focus. A signal processing apparatus, a control method thereof, and a control program are provided.
上記の目的を達成するため、本発明による信号処理装置は、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第1の画像処理手段と、前記撮像素子で生成され、かつ前記第1の画像処理手段によって前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理手段と、を有し、前記第2の画像処理手段は、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。 In order to achieve the above object, a signal processing apparatus according to the present invention is an optical geometric distortion based on a lens for condensing an image signal generated by an imaging device on an imaging surface of the imaging device. The first image processing unit that corrects the image and generates an image signal for recording, and the image that is generated by the imaging device and before the geometric distortion is corrected by the first image processing unit For the signal, a resizing process for adjusting the display size of the display unit having a smaller number of pixels than the image sensor and a correction process for the geometric distortion are performed to generate an image signal for display on the display unit . and second image processing means, the possess, the second image processing means, the target pixel of the image signal after resizing, and a plurality of pixels around the target pixel, the geometric distortion The corresponding interpolation factor By performing arithmetic processing have been, and performs the resizing process and the correction process of the geometric distortion.
本発明による制御方法は、信号処理装置の制御方法であって、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第1の画像処理ステップと、前記撮像素子で生成され、かつ前記第1の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理ステップと、を有し、前記第2の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。 A control method according to the present invention is a control method of a signal processing apparatus, and an optical geometrical method based on a lens for condensing an image signal generated by an image sensor on an image pickup surface of the image sensor. A first image processing step that corrects the distortion and generates an image signal for recording; and the image signal generated by the imaging device and before the geometric distortion is corrected in the first image processing step. The image signal is resized to match the display size of the display unit having a smaller number of pixels than the image sensor and the geometric distortion correction process to generate an image signal to be displayed on the display unit. possess a second image processing step, and wherein in the second image processing step, the target pixel of the image signal after resizing, and a plurality of pixels around the target pixel, the geometric distortion According to By performing arithmetic processing using an interpolation coefficient, and performs the resizing process and the correction process of the geometric distortion.
本発明による制御プログラムは、信号処理装置で用いられる制御プログラムであって、前記信号処理装置が備えるコンピュータに、撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第1の画像処理ステップと、前記撮像素子で生成され、かつ前記第1の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理ステップと、を実行させ、前記第2の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする。 The control program according to the present invention is a control program used in a signal processing device, and focuses the image signal generated by the imaging device on the imaging surface of the imaging device on a computer included in the signal processing device. A first image processing step for correcting an optical geometric distortion based on a lens for generating an image signal for recording, and a first image processing step generated by the imaging device and the first image processing step. The image signal before the geometric distortion is corrected is subjected to a resizing process for adjusting to a display size of a display unit having a smaller number of pixels than the image sensor and a correction process for the geometric distortion, thereby performing the display. a second image processing step of generating an image signal for displaying the part, to the run, in the second image processing step, noted picture image signal after resizing Against performs a plurality of pixels around the target pixel, by performing arithmetic processing using an interpolation coefficient corresponding to the geometric distortion, the resizing process and the correction process of the geometric distortion It is characterized by that.
本発明によれば、撮影の際に表示部に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。 According to the present invention, it is possible to reduce the display delay time of an image displayed on the display unit during shooting to reduce a sense of incongruity during a shooting operation, and to check the composition and focus well.
以下、本発明の実施の形態による信号処理装置の一例について図面を参照して説明する。
[第1の実施の形態]
Hereinafter, an example of a signal processing apparatus according to an embodiment of the present invention will be described with reference to the drawings.
[First Embodiment]
図1は、本発明の第1の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。 FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus including a signal processing device according to the first embodiment of the present invention.
図示の撮像装置は、例えば、ビデオカメラであり、撮像センサー100を有している。当該撮像センサー100はCCD又はCMOSなどの撮像素子を備えている。撮像センサー100には、撮影レンズ群(図示せず)において入射光量の調整および合焦が行われた光学像(被写体像)が結像する。なお、撮像センサー100および撮影レンズ群は撮像部を構成する。
The illustrated imaging apparatus is, for example, a video camera and includes an
そして、撮像センサー100は光電変換によって光学像に応じたアナログ信号を生成し、さらに、当該アナログ信号をA/D変換によってデジタル信号(画像信号)に変換して出力する。つまり、撮像部による撮像の結果得られた撮像画像がデジタル信号である。
The
撮像素子はマトリックス状に配列された複数の画素を有しており、画素にはR(赤)、G(緑)、およびB(青)のいずれかのカラーフィルタが所定の配列、例えば、ベイヤー配列又はハニカム配列で配置されている。これによって、撮像素子は色毎にRGB画像信号を出力する。また、高速出力(高速読み出し)のため、複数の画素の出力を加算して1つの出力とする画素加算処理を行ってRGB画像信号を出力する場合もある。 The imaging device has a plurality of pixels arranged in a matrix, and each pixel has a predetermined arrangement of color filters of R (red), G (green), and B (blue), for example, Bayer. They are arranged in an array or a honeycomb array. Thereby, the image sensor outputs an RGB image signal for each color. In addition, for high-speed output (high-speed reading), there is a case where an RGB image signal is output by performing a pixel addition process in which outputs of a plurality of pixels are added to form one output.
リサイズ回路101は、撮像センサー100から出力されたRGB画像信号をR(赤)、G(緑)、およびB(青)の色毎に重心を補正しつつ、信号処理回路102において処理可能な大きさ(サイズ)に縮小する。
The resizing
信号処理回路102は、リサイズ回路101でリサイズされたRGB画像信号を受けて、まず、RGBのオフセット調整、ゲイン調整、およびガンマ補正処理を行う。次に、信号処理回路102はRGB画像信号を輝度信号(Y)と色差信号(Cb、Cr)とに変換して、当該YCC画像信号を記憶メモリ(例えば、DRAM)103に一旦書き込む。
The
信号処理回路102の後段には信号処理回路104が配置されている。信号処理回路104は、DRAM103からYCC画像信号を読み出して、例えば、撮影レンズ群の歪曲収差の補正処理を行う。さらに、信号処理回路104は被写体の動きベクトルに応じて撮像装置のブレに起因するYCC画像信号のブレを低減する防振処理などを行って、第1の処理済みYCC画像信号としてDRAM105に書き込む。
A
信号処理回路106は、DRAM105から第1の処理済みYCC画像信号を読み出し、例えば、ノイズリダクション処理を行って、第2の処理済みYCC画像信号としてDRAM107に書き込む。
The
このようにして、信号処理回路104および106はDRAMに記憶されたYCC画像信号に対して画像処理を順次行うことになる。
In this way, the
圧縮伸長回路108はDRAM107から第2の処理済みYCC画像信号を読み出して、記録フォーマットに合わせて第2の処理済みYCC画像信号を圧縮符号化して、圧縮画像信号として記録メディア109に記録する。
The compression /
外部出力回路110は、DRAM107から第2の処理済みYCC画像信号を読み出して、第2の処理済みYCC画像信号をHDMI、SDI、コンポーネント、又はコンポジットなどの画像信号伝送フォーマットに合わせてフォーマット変換して、撮像装置の外部に出力する。
The
図示の撮像装置はリサイズ回路111を備えており、リサイズ回路111はプレフィルタ120、補間回路121、および補間係数演算回路122を有している。
The illustrated imaging apparatus includes a resizing
リサイズ回路111は信号処理回路102の出力であるYCC信号を受ける。そして、リサイズ回路111は、後述するようにして、YCC画像信号を表示装置(例えば、パネル)の表示サイズに縮小してリサイズYCC画像信号とする。なお、リサイズ回路111は後述するように、歪曲補正および縮小処理を行う。
The resizing
リサイズ回路111の出力であるリサイズYCC画像信号はパネル用信号処理回路112に与えられる。パネル用信号処理回路112は、リサイズYCC画像信号に対してパネルに合わせて色の調整処理および解像度調整処理など信号処理を行ってパネル用YCC信号として出力する。
The resized YCC image signal that is the output of the
パネル出力回路113は、パネル用YCC画像信号をパネルの受信フォーマットに合わせてフォーマット変換して、表示装置(表示部又はパネル)114に送ってパネル114に画像表示を行う。
The
CPU130は、撮像装置全体の制御を司る。図1においては、制御信号線は示されていないが、CPU130は上述の各ブロックを制御する。特に、CPU130は信号処理回路192、104、106、およびパネル用信号処理回路112の設定調整などを行う。
The
ここで、図1に示す撮像装置における信号処理を容易に理解するため、従来の撮像装置における信号処理について説明する。 Here, in order to easily understand the signal processing in the imaging apparatus shown in FIG. 1, the signal processing in the conventional imaging apparatus will be described.
図2は、従来の信号処理装置を備える撮像装置の一例を示すブロック図である。なお、図2において、図1に示す構成要素と同一の構成要素については同一の参照番号を付す。また、図2においてはCPUが省略されている。 FIG. 2 is a block diagram illustrating an example of an imaging apparatus including a conventional signal processing apparatus. In FIG. 2, the same components as those shown in FIG. 1 are denoted by the same reference numerals. In FIG. 2, the CPU is omitted.
図2に示す撮像装置では、信号処理回路106の出力である第2の処理済みYCC画像信号がリサイズ回路211に与えられる。そして、リサイズ回路211は第2の処理済みYCC信号を表示装置の表示サイズに縮小してリサイズYCC画像信号とし、当該リサイズYCC信号をDRAM212に書き込む。
In the imaging apparatus illustrated in FIG. 2, the second processed YCC image signal that is the output of the
パネル出力回路213は、DRAM212からリサイズYCC画像信号を読み出してパネルの受信フォーマットに合わせてフォーマット変換して、表示装置(パネル)114に送ってパネル114に画像を表示する。
The
このように、従来の撮像装置においては、リサイズ回路211は圧縮伸長処理以外の全ての信号処理が行われたYCC画像信号を受けて、リサイズ処理を行って得られたリサイズYCC画像信号をDRAM212に記憶する。
As described above, in the conventional imaging apparatus, the
続いて、図1および図2に示す撮像装置の動作タイミングについて説明する。 Next, the operation timing of the imaging device shown in FIGS. 1 and 2 will be described.
図3は、図1に示す撮像装置の動作タイミングを説明するためのタイミングチャートであり、図4は、図2に示す撮像装置の動作タイミングを説明するためのタイミングチャートである。 FIG. 3 is a timing chart for explaining the operation timing of the imaging apparatus shown in FIG. 1, and FIG. 4 is a timing chart for explaining the operation timing of the imaging apparatus shown in FIG.
ここでは、撮像センサー100の駆動周期とパネル114の駆動周期がともに60Hzで同期しており、撮像センサー100の画素数は水平4096ピクセル×垂直2160ライン=8847360ピクセルである。また、パネル114の画素数は水平960ピクセル×垂直540ライン=518400ピクセルであるとする。そして、図3および図4に示す動作タイミング制御はCPUの制御下で行われる。
Here, the drive cycle of the
まず、図3を参照して、ステップS310において、撮像センサー100からRGB画像信号(水平4096ピクセル×垂直2160ライン)が出力される。続いて、ステップS311において、リサイズ回路101は、撮像センサー101から出力されたRGB画像信号を信号処理回路102において処理可能な大きさ(水平2048ピクセル×垂直1080ライン)に縮小する。
First, referring to FIG. 3, in step S310, the
ステップS312において、信号処理回路102は、リサイズ回路101でリサイズされたRGB画像信号を輝度信号(Y)および色差信号(Cb、Cr)に変換する信号処理を行う。そして、信号処理回路102はYCC画像信号をDRAM103に記憶しつつ、リサイズ回路111に送る。
In step S312, the
ステップS313において、信号処理回路104はDRAM103に記憶されたYCC画像信号を、ステップS312の処理から1フレーム時間の後に読み出す。そして、信号処理回路104はYCC信号に対して信号処理を行って第1の処理済みYCC画像信号をDRAM105に書き込む。
In step S313, the
続いて、ステップS314において、信号処理回路106はDRAM105に記憶された第1の処理済みYCC画像信号を、ステップS313処理から1フレーム時間の後に読み出す。そして、信号処理回路106は第1の処理済みYCC画像信号に対して信号処理を行って第2の処理済みYCC画像信号をDRAM107に書き込む。
Subsequently, in step S314, the
ステップS315において、外部出力回路110は、DRAM107に記憶された第2の処理済みYCC画像信号を、ステップS314の処理から1フレーム時間の後に読み出す。そして、外部出力回路110は、前述のように、フォーマット変換を行って撮像装置の外部に出力する。
In step S315, the
一方、ステップS312の処理の後、ステップS316の処理が行われて、リサイズ回路111はYCC画像信号を縮小処理してリサイズYCCパネル画像信号とする。ここでは、パネル114の表示サイズ(水平960ピクセル×垂直540ライン)とするため、YCC画像信号を水平15/32倍、垂直1/2倍に縮小する。
On the other hand, after the process of step S312, the process of step S316 is performed, and the resizing
次に、ステップS317において、パネル用信号処理回路112はリサイズYCC画像信号に対してパネルに合わせて色の調整処理および解像度調整処理など信号処理を行ってパネル用YCC信号として出力する。
Next, in step S317, the panel
続いて、ステップS318において、パネル出力回路113はパネル用YCC画像信号をパネル114の受信フォーマットに合わせてフォーマット変換して、パネル114に送って画像を表示する。
Subsequently, in step S318, the
図4を参照して、図3に示すステップと同一のステップについて同一の参照符号を付して説明を省略する。図2に示す撮像装置では、ステップS314における信号処理回路106による信号処理の後、ステップS416でリサイズ回路211による縮小処理が行われることになる。つまり、リサイズ回路211は信号処理回路106の出力である第2の処理済みYCC画像信号を縮小処理してリサイズYCC画像信号としてDRAM212に記憶する。
With reference to FIG. 4, the same steps as those shown in FIG. In the imaging device shown in FIG. 2, after the signal processing by the
続いて、ステップS417において、パネル出力回路213はDRAM212に記憶されたリサイズYCC画像信号を、ステップS314の処理から1フレーム時間の後に読み出す。そして、パネル出力回路213はリサイズYCC画像信号をパネル114の受信フォーマットに合わせてフォーマット変換して、パネル114に送って画像を表示する。
Subsequently, in step S417, the
このように、リサイズ回路211は信号処理回路206から第2の処理済みYCC画像信号を受けて縮小処理して得られたリサイズYCC画像信号をDRAM212に記憶する。
As described above, the
このため、ステップS315の処理とともに、ステップS417においてパネル出力処理を行うことになって、ステップS310から数えると、ステップS417の処理では3フレーム時間分の表示遅延時間が生じることになる。フレームレートが60Hzであるから、この表示遅延時間は約50[m秒]となる。 For this reason, the panel output process is performed in step S417 together with the process in step S315. If counted from step S310, the display delay time corresponding to three frame times is generated in the process in step S417. Since the frame rate is 60 Hz, this display delay time is about 50 [msec].
前述の図3に示すタイミングチャートでは、ステップS310の処理の後、ステップS318の処理は1フレーム時間以内で行われており、撮影の際に画像をパネル114に表示する際の表示遅延時間を1フレーム時間以内とすることができる。
In the timing chart shown in FIG. 3 described above, after the process of step S310, the process of step S318 is performed within one frame time, and the display delay time for displaying an image on the
このように、図1に示す撮像装置では、リサイズ回路111が信号処理回路102からYCC画像信号を受けて、パネル用信号処理回路112およびパネル出力回路113を介して画像をパネル114に表示するようにしたので、撮像センサー100で撮像した画像を1フレーム時間以内でパネル114に表示することができる。
1, the resizing
ところで、前述のように、図1に示すリサイズ回路111は、プレフィルタ120、補間回路121、および補間係数演算回路122を有しており、YCC画像信号に対して画像縮小処理を行うとともに、撮影レンズ群などで生じる歪曲補正を行う。
Incidentally, as described above, the resizing
ここで、歪曲歪みは撮像センサーの撮像面(結像面)に集光するためのレンズが有する歪曲収差によって引き起こされる光学的な幾何学的歪みである。この歪曲歪みは、画像の中心付近とその周辺部とにおける結像倍率が異なるために発生する。 Here, the distortion is an optical geometric distortion caused by a distortion aberration of a lens for focusing on the imaging surface (imaging surface) of the imaging sensor. This distortion occurs because the imaging magnification is different between the vicinity of the center of the image and its peripheral portion.
一般に、歪曲収差には外枠が膨らんだように見える樽型の歪曲収差と外枠が凹んだように見える糸巻き型の歪曲収差とがあり、レンズのズーム倍率によって歪曲収差が変化する。 In general, distortion aberration includes barrel-shaped distortion aberration in which the outer frame is swollen and pincushion distortion aberration in which the outer frame is depressed, and the distortion aberration changes depending on the zoom magnification of the lens.
歪曲収差が低減するようにレンズを設計することが望ましいものの、歪曲収差を完全になくすことは困難であって、歪曲収差を抑えたレンズ群は複雑でしかも高価となる。このため、安価な撮像装置を提供するためには、レンズ群で生じる歪曲収差を画像処理により補正する必要がある。 Although it is desirable to design a lens so as to reduce distortion, it is difficult to completely eliminate distortion, and a lens group that suppresses distortion is complicated and expensive. For this reason, in order to provide an inexpensive imaging device, it is necessary to correct distortion occurring in the lens group by image processing.
前述のように、図1に示す撮像装置では、信号処理回路104において歪曲収差の補正処理が行われている。一方、図1に示す撮像装置では、信号処理回路102の出力であるYCC画像信号をリサイズ回路111に入力して、パネル用信号処理回路112およびパネル出力回路113を介してパネル114に画像を表示しているので、パネル114に至る経路において歪曲補正を行うことが望ましい。
As described above, in the imaging apparatus shown in FIG. 1, distortion correction processing is performed in the
つまり、歪曲補正されない画像がパネル114に表示されると、当該表示画像ら応じて、ユーザーが撮像を行った場合には、ユーザーが意図した画像と記録メディア109に記録される画像との間で差異が発生してしまう。このため、パネル114に至る経路において歪曲補正を行う必要がある。
That is, when an image that has not been corrected for distortion is displayed on the
図5は、図1に示すリサイズ回路111で行われる歪曲補正を説明するための図である。
FIG. 5 is a diagram for explaining the distortion correction performed by the resizing
いま、歪曲がない時の画像面に対して、糸巻き型歪又は樽型歪が生じたとする。糸巻き型歪および樽型歪は2次元の歪であるので、垂直および水平方向の2次元逆極性の歪曲補正率を用いて歪補正を行えば、歪曲歪補正を行うことができる。 Now, it is assumed that pincushion distortion or barrel distortion occurs on the image plane when there is no distortion. Since the pincushion distortion and barrel distortion are two-dimensional distortions, distortion correction can be performed by performing distortion correction using a two-dimensional reverse polarity distortion correction factor in the vertical and horizontal directions.
なお、撮像センサー100で撮像された画像をパネル114に表示するために行うリサイズ処理(縮小処理)も垂直および水平方向の2次元画像変形処理である。よって、ここでは、リサイズ回路111が歪曲補正および縮小処理を行う。
Note that resizing processing (reduction processing) performed to display an image captured by the
リサイズ回路111において、プレフィルタ120は画像処理回路102の出力であるYCC画像信号の帯域を制限して、縮小処理による折り返し(エイリアシング)を防止するためのものである。プレフィルタ120は、例えば、高次のFIRフィルタであり、垂直方向および水平方向に帯域を制限する。
In the resizing
補間回路121はリサイズ後のYCC信号において所定の注目画素に対して、その周囲の複数画素から補間を行う。補間回路121では、例えば、既知のバイリニア法又はバイキュービック法が用いられる。
The
補間係数演算回路122はCPU130の制御下で、補間回路121で行われる補間演算、例えば、バイキュービック法における重みづけ演算の係数を制御する。歪曲補正を行わない場合には、補間係数演算回路122は重心位置に応じた係数演算を行い、歪曲補正を行う際には図5に示す歪曲補正率に応じて係数演算を行う。
The interpolation
なお、リサイズ111は、信号処理回路102からYCC画素信号とともに、当該YCC画像信号に係る画素の水平および垂直のアドレス位置情報を受ける。そして、アドレス位置情報は補間係数演算回路122に与えられる。補間係数回路122はアドレス位置情報に応じて補間係数を算出して、当該補間係数によって補間回路121を制御する。
The
例えば、図5に示すように、糸巻き型歪又は樽型歪が生じた際には、歪曲補正率(補正係数)はその周辺に行く程補正率が大きくなる。補間係数演算回路122はアドレス位置情報に応じて歪みの補正係数を近似計算によって求める。また、補間係数演算回路122は内蔵するLUT(ルックアップテーブル)を参照して、アドレス位置情報に応じてLUTから補正係数を読み出すようにしてもよい。このようにして、リサイズ回路111において歪曲補正を行うと、歪曲補正後画像であるリサイズYCC画像信号が得られる。
For example, as shown in FIG. 5, when pincushion distortion or barrel distortion occurs, the distortion correction ratio (correction coefficient) increases toward the periphery. The interpolation
図1に示す撮像装置(カメラ)がレンズ交換を行うことができる場合には(つまり、カメラがレンズ交換可能であると)、交換レンズによってその歪み率が異なる。この場合には、図1に示すCPU130は、カメラに装着された交換レンズの種類を認識する。そして、CPU130はカメラに装着された交換レンズの種類に応じて、補間係数演算回路122における演算処理を変更する。
When the imaging apparatus (camera) shown in FIG. 1 can exchange lenses (that is, when the camera can exchange lenses), the distortion rate differs depending on the interchangeable lens. In this case, the
なお、前述のように、LUTを参照して補正係数を算出する際には、CPU130はカメラに装着された交換レンズの種類に応じてLUTのテーブルデータを書き替えることになる。この際には、交換レンズが装着された際に、CPU130はLUTのテーブルデータを書き替える。
As described above, when calculating the correction coefficient with reference to the LUT, the
さらに、カメラに実装されたレンズが光学ズーム式レンズである場合には、焦点距離によってその歪み率が異なる。この場合には、図1に示すCPU130はズームレンズのズーム状態を検出して、当該ズーム状態に応じて補間係数演算回路122における演算処理を変更する。なお、前述のように、LUTを参照して補正係数を算出する際には、CPU130はズームレンズのズーム率に応じてLUTのテーブルデータを書き替えることになる。
Furthermore, when the lens mounted on the camera is an optical zoom lens, the distortion rate varies depending on the focal length. In this case, the
なお、外部出力回路110に送られる第2の処理済みYCC画像信号は8ビット、10ビット、又はそれ以上のビット数であるのに対して、パネル114に送られる画像信号は8ビット又はそれ以下のビット数である。よって、信号処理回路102は、リサイズ回路110にYCC画像信号を出力する際には、必要なビット数にデータ量を低下させて、リサイズ回路111における処理量を軽減させるようにしてもよい。
Note that the second processed YCC image signal sent to the
また、1つのDRAMをアドレス制御によってDRAM103、105、および107として用いるようにしてもよい。
One DRAM may be used as the
なお、撮像センサー100の駆動周期とパネル114の駆動周期は同一の周期でなくてもよい。この場合、撮像センサー100の駆動周期とパネル114の駆動周期とを同期制御する際には、CPU130は撮像センサー100とパネル114の同期信号の遅延量を計測して、センサーの駆動周期を基準としてパネル114の同期信号の遅延量が所定の範囲に入るように調節する。
Note that the drive cycle of the
このように、本発明の第1の実施形態では、信号処理回路102の出力であるYCC画像信号をリサイズ回路111に入力して、表示装置114に画像を表示するようにしたので、撮影の際に表示装置114に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。
As described above, in the first embodiment of the present invention, the YCC image signal that is the output of the
[第2の実施形態]
続いて、本発明の第2の実施形態による信号処理装置を備える撮像装置について説明する。
[Second Embodiment]
Subsequently, an imaging device including a signal processing device according to a second embodiment of the present invention will be described.
図6は、本発明の第2の実施形態による信号処理装置を備える撮像装置の構成についてその一例を示すブロック図である。なお、図6において、図1に示す撮像装置と同一の構成要素については同一の参照番号を付して説明を省略する。 FIG. 6 is a block diagram illustrating an example of the configuration of an imaging apparatus including a signal processing device according to the second embodiment of the present invention. In FIG. 6, the same constituent elements as those of the imaging apparatus shown in FIG.
図示の撮像装置(カメラ)は、ジャイロセンサー131、アナログデジタル変換回路(ADC)132、およびDRAM115を有している。図示のジャイロセンサー131は撮像面に対して水平2軸方向についてカメラの揺れを検出する。なお、カメラの揺れとは、例えば、手ブレである。
The illustrated imaging apparatus (camera) includes a
ジャイロセンサー131はカメラの揺れを検出して、そのブレ量をADC132に送る。ADC132はブレ量をA/D変換してブレ量を示すデジタル信号(以下ブレ検出信号と呼ぶ)をCPU130に送る。
The
図1で説明したように、信号処理回路104はYCC画像信号に対して防振処理を行うが、第2の実施形態では、信号処理回路104はCPU130の制御下でブレ検出信号に応じてYCC画像信号に対して防振処理を行う。
As described with reference to FIG. 1, the
図示のように、リサイズ回路111の出力であるリサイズYCC画像信号はDRAM115に一旦記憶される。パネル用信号処理回路112はDRAM115に対して読み出しアドレス制御を行って、DRAM115に記憶されたYCC画像信号を選択的に読み出す切り出し読みを行う。
As shown in the figure, the resized YCC image signal that is the output of the
この際、パネル用信号処理回路112はCPU130の制御下でブレ検出信号に応じてDRAM115の読み出しアドレスを変更して、ブレ量をキャンセルするようにYCC画像信号の切り出し読みを行って防振処理を実行する。
At this time, the panel
DRAM115の挿入によって若干の遅延が生じることになるが、DRAM115に記憶される画像信号はそのサイズが小さいので問題はない。つまり、前述のように、DRAM103、105、および107に記憶される画像信号は、例えば、水平2048ピクセル×垂直1080ラインであるが、DRAM115に記憶される画像信号はパネル表示用に縮小処理された画像信号であって、例えば、水平960ピクセル×垂直540ラインである。従って、DRAM115に記憶されるピクセル総数は、DRAM103、105、および107に記憶されるピクセル総数の約1/4であり、DRAM115による遅延時間は1フレーム時間に対して十分小さい。
Although a slight delay occurs due to the insertion of the
なお、1つのDRAMをアドレス制御によってDRAM115、DRAM103、105、および107として用いるようにしてもよい。
One DRAM may be used as the
このように、本発明の第2の実施形態においても、撮影の際に表示装置に表示される画像の表示遅延時間を低減して撮影操作の際の違和感を低減するとともに構図およびフォーカスなどの確認を良好に行うことができる。さらに、表示装置に表示される画像におけるブレを低減することができる。 As described above, also in the second embodiment of the present invention, the display delay time of the image displayed on the display device at the time of shooting is reduced to reduce a sense of incongruity at the time of shooting operation and confirmation of composition, focus, etc. Can be performed satisfactorily. Furthermore, blurring in an image displayed on the display device can be reduced.
上述の説明から明らかなように、図1に示す例においては、少なくともリサイズ回路101および111、信号処理回路102、104、および106、DRAM103、105、および107、圧縮伸長回路108、CPU130、パネル用信号処理回路112、およびパネル出力回路113が信号処理装置を構成する。
As is apparent from the above description, in the example shown in FIG. 1, at least the resizing
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not limited to these embodiment, Various forms of the range which does not deviate from the summary of this invention are also contained in this invention. .
例えば、上記の実施の形態の機能を制御方法として、この制御方法を信号処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを信号処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。 For example, the function of the above embodiment may be used as a control method, and this control method may be executed by the signal processing device. Further, a program having the functions of the above-described embodiments may be used as a control program, and the control program may be executed by a computer included in the signal processing device. The control program is recorded on a computer-readable recording medium, for example.
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.
100 撮像センサー
101,111 リサイズ回路
102,104,106 信号処理回路
103,105,107,115 DRAM
108 圧縮伸長回路
109 記録メディア
110 外部出力回路
112 パネル用信号処理回路
113 パネル出力回路
114 表示装置(パネル)
100
108 compression /
Claims (8)
前記撮像素子で生成され、かつ前記第1の画像処理手段によって前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理手段と、を有し、
前記第2の画像処理手段は、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする信号処理装置。 A first image signal for recording is generated by correcting an optical geometric distortion based on a lens for condensing on an image pickup surface of the image pickup device with respect to an image signal generated by the image pickup device . Image processing means,
Resizing the image signal generated by the image sensor and before the geometric distortion is corrected by the first image processing means to match the display size of the display unit having a smaller number of pixels than the image sensor processing and performs correction processing of the geometric distortion, have a, a second image processing means for generating an image signal for displaying on the display unit,
The second image processing unit performs arithmetic processing on the target pixel of the image signal after the resizing process using a plurality of pixels around the target pixel and an interpolation coefficient according to the geometric distortion. And performing the resizing process and the geometric distortion correcting process .
前記ブレ検出信号に応じて、前記リサイズ処理および前記幾何学的歪みの補正処理が行われた画像信号に対してブレ補正を行うブレ補正手段と、を有することを特徴とする請求項1に記載の信号処理装置。 A shake detection means for outputting a vibration detection signal by detecting a blanking les,
Depending on the shake detection signal, to claim 1, characterized in that it comprises a and a shake correction unit which performs shake correction to the resize processing and image signal correction processing is performed in the geometric distortion only The signal processing apparatus as described.
前記ブレ検出信号に応じて前記記憶手段における読み出しアドレスを変更する切り出し読みを行ってブレ補正を行う読み出し手段と、を有することを特徴とする請求項2に記載の信号処理装置。 The blur correction unit includes a storage unit that stores an image signal that has undergone the resizing process and the geometric distortion correction process ;
The signal processing apparatus according to claim 2 , further comprising: a reading unit that performs cutout reading to change a read address in the storage unit in accordance with the blur detection signal to perform blur correction.
前記第2の画像処理手段は、前記撮像部に装着されたレンズの種類に応じて、前記幾何学的歪みを補正するための補正率を変更することを特徴とする請求項1〜4のいずれか1項に記載の信号処理装置。 Before sharp lens are interchangeable with respect to the imaging unit provided with the imaging element,
It said second image processing means, according to the type of the mounted lenses in the imaging unit, according to claim 1-4, characterized in that to change the correction factor for correcting the geometric distortion The signal processing device according to any one of the above.
前記第3の画像処理手段から出力された画像信号が、前記第2の画像処理手段に入力されることを特徴とする請求項1〜5のいずれか1項に記載の信号処理装置。 Third image processing means for reducing the number of bits of the image signal generated by the image sensor to a predetermined number of bits ;
The signal processing apparatus according to claim 1 , wherein an image signal output from the third image processing unit is input to the second image processing unit .
撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第1の画像処理ステップと、
前記撮像素子で生成され、かつ前記第1の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理ステップと、を有し、
前記第2の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする制御方法。 A control method for a signal processing device, comprising:
A first image signal for recording is generated by correcting an optical geometric distortion based on a lens for condensing on an image pickup surface of the image pickup device with respect to an image signal generated by the image pickup device . Image processing steps,
Resizing the image signal generated by the image sensor and before the geometric distortion is corrected in the first image processing step to match the display size of the display unit having a smaller number of pixels than the image sensor processing and performs correction processing of the geometric distortion, have a, a second image processing step of generating an image signal for displaying on the display unit,
In the second image processing step, an arithmetic process is performed on the target pixel of the resized image signal using a plurality of pixels around the target pixel and an interpolation coefficient corresponding to the geometric distortion. And performing the resizing process and the geometric distortion correcting process .
前記信号処理装置が備えるコンピュータに、
撮像素子で生成された画像信号に対して、前記撮像素子の撮像面に集光するためのレンズに基づく光学的な幾何学的歪みを補正して、記録のための画像信号を生成する第1の画像処理ステップと、
前記撮像素子で生成され、かつ前記第1の画像処理ステップで前記幾何学的歪みが補正される前の画像信号について、前記撮像素子よりも画素数の少ない表示部の表示サイズに合わせるためのリサイズ処理および前記幾何学的歪みの補正処理を行って、前記表示部に表示するための画像信号を生成する第2の画像処理ステップと、を実行させ、
前記第2の画像処理ステップでは、リサイズ処理後の画像信号の注目画素に対して、該注目画素の周辺の複数の画素と、前記幾何学的歪みに応じた補間係数とを用いて演算処理を行うことによって、前記リサイズ処理および前記幾何学的歪みの補正処理を行うことを特徴とする制御プログラム。 A control program used in a signal processing device,
In the computer provided in the signal processing device,
A first image signal for recording is generated by correcting an optical geometric distortion based on a lens for condensing on an image pickup surface of the image pickup device with respect to an image signal generated by the image pickup device . Image processing steps,
Resizing the image signal generated by the image sensor and before the geometric distortion is corrected in the first image processing step to match the display size of the display unit having a smaller number of pixels than the image sensor processing and performs correction processing of the geometric distortion, and the second image processing step of generating an image signal for displaying on the display unit, is executed,
In the second image processing step, an arithmetic process is performed on the target pixel of the resized image signal using a plurality of pixels around the target pixel and an interpolation coefficient corresponding to the geometric distortion. A control program that performs the resizing process and the correction process for the geometric distortion .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013030889A JP6207173B2 (en) | 2013-02-20 | 2013-02-20 | Signal processing apparatus, control method thereof, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013030889A JP6207173B2 (en) | 2013-02-20 | 2013-02-20 | Signal processing apparatus, control method thereof, and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014160958A JP2014160958A (en) | 2014-09-04 |
JP6207173B2 true JP6207173B2 (en) | 2017-10-04 |
Family
ID=51612366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013030889A Expired - Fee Related JP6207173B2 (en) | 2013-02-20 | 2013-02-20 | Signal processing apparatus, control method thereof, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6207173B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4378994B2 (en) * | 2003-04-30 | 2009-12-09 | ソニー株式会社 | Image processing apparatus, image processing method, and imaging apparatus |
JP4901314B2 (en) * | 2006-06-05 | 2012-03-21 | 富士フイルム株式会社 | Digital camera and control method thereof |
JP5195818B2 (en) * | 2010-06-01 | 2013-05-15 | セイコーエプソン株式会社 | Display control device |
WO2012169140A1 (en) * | 2011-06-08 | 2012-12-13 | パナソニック株式会社 | Image processing device, image processing method and digital camera |
-
2013
- 2013-02-20 JP JP2013030889A patent/JP6207173B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014160958A (en) | 2014-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4596986B2 (en) | Imaging device | |
US9432582B2 (en) | Image signal processing apparatus and a control method thereof, and an image pickup apparatus and a control method thereof | |
JP2006345056A (en) | Image pickup apparatus | |
JP4553798B2 (en) | Imaging device | |
JP2009164778A (en) | Imaging apparatus | |
JP4596987B2 (en) | Imaging device | |
JP4608436B2 (en) | Image shooting device | |
JP2007096588A (en) | Imaging device and method for displaying image | |
JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP4853434B2 (en) | Image processing device | |
JP2000307938A (en) | Method for forseeing image in camera and digital camera | |
US11032463B2 (en) | Image capture apparatus and control method thereof | |
WO2017104102A1 (en) | Imaging device | |
JP5535099B2 (en) | Camera module and image recording method | |
JP5446955B2 (en) | Imaging device | |
US20120229667A1 (en) | Image-shooting device | |
JP6857006B2 (en) | Imaging device | |
JP2016076771A (en) | Imaging device | |
JP6049481B2 (en) | Imaging device | |
JP6207173B2 (en) | Signal processing apparatus, control method thereof, and control program | |
JP2019080261A (en) | Imaging apparatus | |
JP6091216B2 (en) | Image signal processing apparatus, control method therefor, and imaging apparatus | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP5112154B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170905 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6207173 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |