JP5121898B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP5121898B2 JP5121898B2 JP2010188710A JP2010188710A JP5121898B2 JP 5121898 B2 JP5121898 B2 JP 5121898B2 JP 2010188710 A JP2010188710 A JP 2010188710A JP 2010188710 A JP2010188710 A JP 2010188710A JP 5121898 B2 JP5121898 B2 JP 5121898B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- target
- component
- image
- hue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
この発明は、画像処理装置に関し、特にたとえばディジタルカメラに適用され、表示画像の色調を補正する、画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that is applied to, for example, a digital camera and corrects the color tone of a display image.
従来のこの種の画像処理装置の一例が、特許文献1に開示されている。この従来技術は、イメージセンサによって撮影された画像データの色調を複数の代表色にそれぞれ対応する複数の基準値および複数の目標値を用いて補正しようとするものである。ここで、複数の代表色のいずれか1つが選択され、かつダイヤルキーが操作されると、選択された代表色に対応する目標値が変更される。これによって、好みに応じた色調補正が実現される。
しかし、従来技術では、予め用意された代表色の目標値のいずれか1つをメニュー上で選択する操作が必要であるため、操作性に欠けるという問題がある。また、予め用意された代表色の目標値しか変更できないため、オペレータの好みの色の色調を補正できるとは限らない。 However, the conventional technique has a problem in that it lacks operability because an operation of selecting any one of the target values of representative colors prepared in advance on the menu is necessary. Further, since only the target value of the representative color prepared in advance can be changed, it is not always possible to correct the color tone of the operator's favorite color.
それゆえに、この発明の主たる目的は、操作性を向上させることができる、画像処理装置を提供することである。 Therefore, a main object of the present invention is to provide an image processing apparatus capable of improving operability.
この発明の他の目的は、所望の色の色調を補正することができる、画像処理装置を提供することである。 Another object of the present invention is to provide an image processing apparatus capable of correcting the tone of a desired color.
本願の第1発明に従う画像処理装置は、画像を形成する複数の画素の各々の色調を複数の代表色にそれぞれ割り当てられた複数の色調補正係数に基づいて補正する補正手段、補正手段によって補正された画像を表示する第1表示手段、第1表示手段によって表示された画像上の任意の画素を選択する選択操作を受け付ける受付手段、選択操作によって選択された画素の色相を検出する検出手段、検出手段によって検出された色相を挟む色相を有する2つの代表色を特定する特定手段、および特定手段によって特定された2つの代表色に割り当てられた2つの色調補正係数を更新する更新手段を備える。 The image processing apparatus according to the first invention of the present application is corrected by correction means and correction means for correcting the color tone of each of a plurality of pixels forming an image based on a plurality of color tone correction coefficients respectively assigned to a plurality of representative colors. First display means for displaying an image, reception means for receiving a selection operation for selecting any pixel on the image displayed by the first display means, detection means for detecting the hue of the pixel selected by the selection operation, detection There are provided specifying means for specifying two representative colors having hues sandwiched between hues detected by the means, and updating means for updating two tone correction coefficients assigned to the two representative colors specified by the specifying means.
画像を形成する複数の画素の各々の色調は、複数の代表色にそれぞれ割り当てられた複数の色調補正係数に基づいて、補正手段によって補正される。補正された画像は、第1表示手段によって表示される。受付手段は、第1表示手段によって表示された画像上の任意の画素を選択する選択操作を受け付ける。検出手段は、選択操作によって選択された画素の色相を検出する。特定手段は、検出された色相を挟む色相を有する2つの代表色を特定し、更新手段は、特定された2つの代表色に割り当てられた2つの色調補正係数を更新する。第1表示手段によって表示される画像の色調は、色調補正係数の更新によって変化する。 The color tone of each of the plurality of pixels forming the image is corrected by the correction unit based on a plurality of color tone correction coefficients respectively assigned to the plurality of representative colors. The corrected image is displayed by the first display means. The accepting means accepts a selection operation for selecting an arbitrary pixel on the image displayed by the first display means. The detection means detects the hue of the pixel selected by the selection operation. The specifying unit specifies two representative colors having hues that sandwich the detected hue, and the updating unit updates two tone correction coefficients assigned to the two specified representative colors. The color tone of the image displayed by the first display means is changed by updating the color tone correction coefficient.
選択操作によって選択された任意の画素の色相に関連する2つの代表色に割り当てられた色調補正係数が更新される。第1表示手段によって表示される画像の色調は、色調補正係数の更新によって変化する。つまり、表示画像に向けられた簡単な操作で、表示画像の色調が変化する。これによって、操作性を向上させることができる。 The tone correction coefficients assigned to the two representative colors related to the hue of an arbitrary pixel selected by the selection operation are updated. The color tone of the image displayed by the first display means is changed by updating the color tone correction coefficient. That is, the color tone of the display image is changed by a simple operation directed to the display image. Thereby, the operability can be improved.
本願の第2発明に従う画像処理装置は、本願の第1発明に従属し、色調は色相,彩度および明度によって規定され、色調補正係数は色相,彩度および明度の少なくとも1つを補正する係数である。 The image processing apparatus according to the second invention of the present application is dependent on the first invention of the present application, wherein the hue is defined by hue, saturation, and brightness, and the tone correction coefficient is a coefficient that corrects at least one of hue, saturation, and brightness. It is.
本願の第3発明に従う画像処理装置は、本願の第1発明または第2発明に従属し、第1表示手段によって表示された画像上にポインタを表示する第2表示手段をさらに備え、検出手段は第1操作を受け付けたとき前記ポインタによって指向される画素の色相を検出し、第1表示手段によって表示される画像は静止画像であり、第2表示手段は第2操作を受け付けたとき前記ポインタを任意の方向に移動させる。この場合、第2操作とその後の第1操作とによって、所望の色調補正が実現される。 The image processing device according to the third invention of the present application is dependent on the first invention or the second invention of the present application , further comprising second display means for displaying a pointer on the image displayed by the first display means, and the detection means comprises The hue of the pixel pointed by the pointer is detected when the first operation is received, the image displayed by the first display means is a still image, and the second display means moves the pointer when the second operation is received. Move in any direction. In this case, desired color tone correction is realized by the second operation and the subsequent first operation.
本願の第4発明に従う画像処理装置は、本願の第1発明ないし第3発明のいずれかに従属し、補正手段は、注目画素の色相を挟む色相を有する2つの代表色にそれぞれ割り当てられた2つの色調補正係数を用いて注目画素の色調を補正する。 The image processing apparatus according to the fourth invention of the present application is dependent on any one of the first to third inventions of the present application, and the correction means is assigned to two representative colors each having a hue sandwiching the hue of the target pixel. The tone of the pixel of interest is corrected using two tone correction coefficients.
本願の第5発明に従う画像処理装置は、本願の第1発明ないし第4発明のいずれかに従属し、複数の代表色にそれぞれ対応する複数の基準係数を記憶する記憶手段をさらに備え、補正手段の補正量は記憶手段によって記憶された複数の基準係数と複数の色調補正係数との差分に従う。 An image processing apparatus according to a fifth invention of the present application is dependent on any one of the first to fourth inventions of the present application , further comprising a storage means for storing a plurality of reference coefficients respectively corresponding to a plurality of representative colors, and a correction means. The amount of correction is in accordance with the difference between the plurality of reference coefficients and the plurality of tone correction coefficients stored in the storage unit.
本願の第1発明によれば、選択操作によって選択された任意の画素の色相に関連する2つの代表色に割り当てられた色調補正係数が更新される。第1表示手段によって表示される画像の色調は、色調補正係数の更新によって変化する。つまり、表示画像に向けられた簡単な操作で、表示画像の色調が変化する。これによって、操作性を向上させることができる。 According to the first invention of the present application, the tone correction coefficients assigned to the two representative colors related to the hue of an arbitrary pixel selected by the selection operation are updated. The color tone of the image displayed by the first display means is changed by updating the color tone correction coefficient. That is, the color tone of the display image is changed by a simple operation directed to the display image. Thereby, the operability can be improved.
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12を含む。被写体の光学像は、このフォーカスレンズ12を経てイメージセンサ14の受光面に入射される。受光面では、入射された光学像に対応する電荷(生画像信号)が光電変換によって生成される。なお、受光面は、原色ベイヤ配列の色フィルタ(図示せず)によって覆われ、カメラ信号を形成する各々の画素信号は、R(Red),G(Green)およびB(Blue)のいずれか1つの色情報のみを持つ。
Referring to FIG. 1, a
モードキー60によってカメラモードが選択されると、対応する状態信号がシステムコントローラ48からCPU46に与えられる。CPU46は、スルー画像表示処理が実行するべく、TG(Timing Generator)16,信号処理回路22およびビデオエンコーダ30に処理命令を与える。
When the camera mode is selected by the
イメージセンサ14はTG16によって駆動され、これによって生画像信号がイメージセンサ14から繰り返し読み出される。読み出された各フレームの生画像信号は、CDS/AGC回路18における周知のノイズ除去およびレベル調整を経て、A/D変換器20でディジタル信号に変換される。
The
信号処理回路22は、A/D変換器20から出力された各フレームの生画像データに色分離,白バランス調整,YUV変換などの信号処理を施し、YUV形式の画像データを生成する。生成された画像データは、メモリ制御回路24によってSDRAM26に書き込まれる。
The
ビデオエンコーダ30は、SDRAM26に格納された画像データをメモリ制御回路24を通して読み出し、読み出された各フレームの画像データをNTSCフォーマットのコンポジットビデオ信号にエンコードする。エンコードされたコンポジットビデオ信号は、加算器32を通してLCDモニタ34に供給される。モニタ画面には、被写体のリアルタイム動画像が表示される。
The
なお、加算器32は、キャラクタジェネレータ36からキャラクタ信号が出力されるとき、このキャラクタ信号をコンポジットビデオ信号に加算する。これによって、所望のキャラクタが画面にOSD態様で表示される。
When the character signal is output from the
オペレータによってシャッタボタン50が押されると、対応する状態信号がシステムコントローラ48からCPU46に与えられ、CPU46によって圧縮/記録処理が実行される。CPU46はまず、JPEGコーデック38に向けて圧縮命令を発行する。JPEGコーデック38は、SDRAM26に格納された1フレームの画像データをメモリ制御回路24を通して読み出し、読み出された画像データにJPEG圧縮を施し、そして圧縮画像データをメモリ制御回路24を通してSDRAM26に書き込む。
When the
CPU52はその後、メモリ制御回路24を通してSDRAM26から圧縮画像データを読み出し、読み出した圧縮画像データ含む画像ファイルをI/F回路40を通してメモリカード42に記録する。なお、メモリカード42は着脱自在な不揮発性の記録媒体であり、スロット(図示せず)に装着されたときにCPU46によってアクセス可能となる。
Thereafter, the
モードキー60によって再生モードが選択されると、対応する状態信号がシステムコントローラ48からCPU46に与えられ、CPU46によって再生処理が実行される。
When the reproduction mode is selected by the
CPU46はまず、メモリカード42内の画像ファイルに格納された圧縮画像データをI/F回路40を通して読み出し、読み出された圧縮画像データをメモリ制御回路24を通してSDRAM26に書き込む。CPU46はさらに、JPEGコーデック38に伸長命令を与え、ビデオエンコーダ30に処理命令を与える。
The
JPEGコーデック38は、SDRAM26に格納された圧縮画像データをメモリ制御回路24を通して読み出し、読み出された画像データにJPEG伸長を施し、そして伸長された画像データをメモリ制御回路24を通してSDRAM26に書き込む。
The
ビデオエンコーダ30は、SDRAM26に格納された画像データをメモリ制御回路24を通して読み出し、読み出された画像データをNTSCフォーマットのコンポジットビデオ信号にエンコードし、そしてエンコードされたコンポジットビデオ信号を加算器32を通してモニタ34に供給する。この結果、再生画像がモニタ画面に表示される。
The
また、スルー画像あるいは再生画像がLCDモニタ34に表示されている状態で画質調整キー52が操作されると、対応する状態信号がシステムコントローラ48からCPU46に与えられ、CPU46によって画質調整処理が実行される。
When the image
現時点のモードがカメラモードであれば、CPU46は、TG16および信号処理回路22を不能化する。LCDモニタ34の表示は、スルー画像からフリーズ画像に遷移する。つまり、画質調整キー52が操作されると、フリーズ画像や再生画像のような静止画像が、たとえば図13に示す要領でモニタ画面に表示される。
If the current mode is the camera mode, the
CPU46は次に、キャラクタジェネレータ36にキャラクタ信号の出力を命令する。キャラクタジェネレータ36から出力されたキャラクタ信号は加算器32を経てLCDモニタ34に与えられる。この結果、十字状のカーソルCSが図13に示すようにモニタ画面にOSD表示される。
Next, the
ここで十字キー54が操作されると、対応する状態信号がCPU46に与えられる。CPU46は、カーソル移動命令をキャラクタジェネレータ36に命令する。キャラクタジェネレータ36はキャラクタ信号の発生タイミングを変更し、この結果、カーソルCSの表示位置が所望の方向に移動する。
When the cross key 54 is operated here, a corresponding status signal is given to the
セットキー56が操作されると、対応する状態信号がCPU46に与えられる。CPU46は、後述する目標値テーブル28jに設定された12個の目標C成分値のうち、カーソルCSが指向する画素の色相を挟む2つの目標C成分値を“0”に設定する。かかる目標値テーブル28jの変更が完了すると、画質調整回路28に向けて処理命令を発行する。
When the set
画質調整回路28は、SDRAM26に格納された画像データ(フリーズ画像または再生画像に対応)をメモリ制御回路24を通して読み出し、読み出された画像データに色調補正を施す。色調が補正された画像データは、その後メモリ制御回路24を通してSDRAM26に書き込む。
The image
ビデオエンコーダ30は、こうして画質が調整された画像データをSDRAM26から読み出す。この結果、LCDモニタ34に表示されるフリーズ画像または再生静止画像の画質が変化する。具体的には、カーソルCSが指向する色が消去される。図13に示す草花の画像について、カーソルCSが緑色の葉を指向する状態でセットキー56が操作されたときは、緑色が画面上から消去される。
The
こうして画質が変化した後にシャッタボタン50が操作されると、対応する状態信号がシステムコントローラ48からCPU46に与えられ、CPU46によって圧縮/記録処理が実行される。この結果、画質が変化した画像データが圧縮状態でメモリカード42に記録される。
When the
画質調整回路28は、図2に示すように構成される。SDRAM26から読み出された画像データの信号形式は、LCH変換回路28aによってYUV形式からLCH形式に変換される。変換された画像データを形成するL成分(明度成分),C成分(彩度成分)およびH成分(色相成分)は、L調整回路28b,C調整回路28cおよびH調整回路28dにそれぞれ与えられる。L調整回路28b,C調整回路28cおよびH調整回路28dはそれぞれ、入力されたL成分,C成分およびH成分に所定の演算を施し、補正L成分,補正C成分および補正H成分を求める。求められた補正H成分,補正C成分および補正L成分からなる画像データはその後、YUV変換回路28eによってYUV形式の画像データに戻され、かかるYUV形式の画像データがSDRAM26に書き込まれる。
The image
LCH変換回路28aから出力されたH成分は、領域判別回路28fにも与えられる。領域判別回路28fは、フラッシュメモリ28hに形成された基準値テーブル28iを参照して、LCH変換回路28aから与えられたH成分の属する領域を判別する。領域判別回路28fはまた、判別結果に対応する2つの基準値および2つの目標値を基準値テーブル28iおよび目標値テーブル28jから読み出す。L調整回路28b,C調整回路28cおよびH調整回路28dによる演算は、読み出された基準値および目標値に基づいて行われる。
The H component output from the
図3を参照して、基準値テーブル28iには、12個の基準H成分値,12個の基準C成分値および12個の基準L成分値が書き込まれている。H,CおよびLはそれぞれ色相,彩度および明度を意味し、いずれも色調整のためのパラメータである。互いに関連する基準H成分値,基準C成分値および基準L成分値には同じ基準値番号N(0〜11)が割り当てられ、基準値番号が共通する3つの成分値(基準H成分値,基準C成分値,基準L成分値)によって基準値が規定される。かかる12個の基準値は、図5および図6に示すようにYUV空間に分布する。なお、図6には基準値番号が“9”の基準値のみを示している。 Referring to FIG. 3, twelve reference H component values, twelve reference C component values, and twelve reference L component values are written in reference value table 28i. H, C, and L mean hue, saturation, and lightness, respectively, and are all parameters for color adjustment. The same reference value number N (0 to 11) is assigned to the reference H component value, the reference C component value, and the reference L component value that are related to each other, and three component values having the same reference value number (reference H component value, reference value) The reference value is defined by the C component value and the reference L component value. The twelve reference values are distributed in the YUV space as shown in FIGS. FIG. 6 shows only the reference value whose reference value number is “9”.
一方、目標値テーブル28jは、図4に示すように形成される。図3に示す基準値テーブル28iと同様、色相(H),彩度(C)および明度(L)の各々に関する12個の目標H成分値,12個の目標C成分値および12個の目標L成分値が設定され、同じ目標値番号N(=0〜11)に割り当てられた目標H成分値,目標C成分値および目標L成分値によって目標値が規定される。目標H成分値,目標C成分値および目標L成分値が図4に示す数値を示すとき、12個の目標値は図5および図6に示すようにYUV空間に分布する。なお、図6には目標値番号が“9”の目標値のみを示している。 On the other hand, the target value table 28j is formed as shown in FIG. Similar to the reference value table 28i shown in FIG. 3, twelve target H component values, twelve target C component values, and twelve target L values for each of hue (H), saturation (C), and lightness (L). The component value is set, and the target value is defined by the target H component value, the target C component value, and the target L component value assigned to the same target value number N (= 0 to 11). When the target H component value, the target C component value, and the target L component value indicate the numerical values shown in FIG. 4, the 12 target values are distributed in the YUV space as shown in FIGS. FIG. 6 shows only the target value whose target value number is “9”.
図5から分かるように、N=2の基準値は“Magenta”に対応し、N=3の基準値は“Red”に対応し、N=5の基準値は“Yellow”に対応し、N=8の基準値は“Green”に対応し、N=10の基準値は“Cyan”に対応し、そしてN=11の基準値は“Blue”に対応する。また、N=0,1,4,6,7および9の基準値は、上述の色以外の色に対応する。なお、この実施例では、基準値テーブル28iに設定された基準値によって規定される色を“代表色”と定義する。 As can be seen from FIG. 5, the reference value of N = 2 corresponds to “Magenta”, the reference value of N = 3 corresponds to “Red”, the reference value of N = 5 corresponds to “Yellow”, and N A reference value of = 8 corresponds to “Green”, a reference value of N = 10 corresponds to “Cyan”, and a reference value of N = 11 corresponds to “Blue”. The reference values of N = 0, 1, 4, 6, 7, and 9 correspond to colors other than the above-described colors. In this embodiment, the color defined by the reference value set in the reference value table 28i is defined as “representative color”.
領域判別回路28fは、画像データを形成する各画素について領域判別と判別結果に応じた基準値および目標値の選択とを行うべく、図7に示すフロー図に従う処理を1画素毎に実行する。まずステップS1でカウンタ28nのカウント値Nを“0”に設定し、ステップS3でカウント値Nに対応する基準H成分値を基準値テーブル28iから読み出す。ステップS5では、LCH変換回路28aから入力した現画素のH成分値(現画素H成分値)を基準値テーブル28iから読み出された基準H成分値と比較する。
The
ステップS5で基準H成分値>現画素H成分値と判断されると、ステップS11でカウント値Nを“0”と比較する。ここでN>1であればステップS13〜S19を処理するが、N=0であればステップS21〜S27を処理する。一方、基準H成分値≦現画素H成分値であれば、ステップS7でカウンタ22sをインクリメントし、続くステップS9で更新後のカウント値Nを最大値Nmaxと比較する。そして、N≦NmaxであればステップS3に戻るが、N>NmaxであればステップS21〜S27を処理する。なお、最大値Nmaxは、基準値番号または目標値番号の最大値であり、この実施例では常に“11”である。 If it is determined in step S5 that the reference H component value> the current pixel H component value, the count value N is compared with “0” in step S11. If N> 1 , steps S13 to S19 are processed. If N = 0 , steps S21 to S27 are processed. On the other hand, if the reference H component value ≦ the current pixel H component value, the counter 22s is incremented in step S7, and the updated count value N is compared with the maximum value Nmax in subsequent step S9. If N ≦ Nmax, the process returns to step S3. If N> Nmax, steps S21 to S27 are processed. The maximum value Nmax is the maximum value of the reference value number or the target value number, and is always “11” in this embodiment.
ステップS13では、現時点のカウント値Nに対応する基準H成分値,基準C成分値および基準L成分値をHr1,Cr1およびLr1として基準値テーブル28iから選択し、ステップS15では、現時点のカウント値Nに対応する目標H成分値,目標C成分値および目標L成分値をHt1,Ct1およびLt1として目標値テーブル28jから選択する。また、ステップS17では、カウント値N−1に対応する基準H成分値,基準C成分値および基準L成分値をHr2,Cr2もよびLr2として基準値テーブル28iから選択し、ステップS19では、カウント値N−1に対応する目標H成分値,目標C成分値および目標L成分値をHt2,Ct2およびLt2として目標値テーブル28jから選択する。 In step S13, the reference H component value, the reference C component value, and the reference L component value corresponding to the current count value N are selected from the reference value table 28i as Hr1, Cr1, and Lr1, and in step S15, the current count value N The target H component value, target C component value, and target L component value corresponding to are selected from the target value table 28j as Ht1, Ct1, and Lt1. In step S17, the reference H component value, the reference C component value, and the reference L component value corresponding to the count value N-1 are selected from the reference value table 28i as Hr2, Cr2 and Lr2, and in step S19, the count value The target H component value, target C component value, and target L component value corresponding to N−1 are selected from the target value table 28j as Ht2, Ct2, and Lt2.
一方、ステップS21では、カウント値N=0に対応する基準H成分値,基準C成分値および基準L成分値をHr1,Cr1およびLr1として基準値テーブル28iから選択し、ステップS23では、カウント値N=0に対応する目標H成分値,目標C成分値および目標L成分値をHt1,Ct1およびLt1として目標値テーブル28jから選択する。また、ステップS25では、カウント値N=Nmaxに対応する基準H成分値,基準C成分値および基準L成分値をHr2,Cr2およびLr2として基準値テーブル28iから選択し、ステップS27では、カウント値N=Nmaxに対応する目標H成分値,目標C成分値および目標L成分値をHt2,Ct2およびLt2として目標値テーブル28jから選択する。 On the other hand, in step S21, the reference H component value, the reference C component value, and the reference L component value corresponding to the count value N = 0 are selected from the reference value table 28i as Hr1, Cr1, and Lr1, and in step S23, the count value N The target H component value, target C component value, and target L component value corresponding to = 0 are selected from the target value table 28j as Ht1, Ct1, and Lt1. In step S25, the reference H component value, reference C component value, and reference L component value corresponding to the count value N = Nmax are selected from the reference value table 28i as Hr2, Cr2, and Lr2, and in step S27, the count value N = Target H component value, target C component value and target L component value corresponding to Nmax are selected from the target value table 28j as Ht2, Ct2 and Lt2.
このようにして、色相に関して現画素値を挟む2つの基準値と、この2つの基準値に対応する2つの目標値とが検出される。 In this way, two reference values sandwiching the current pixel value with respect to the hue and two target values corresponding to the two reference values are detected.
基準H成分値Hr1およびHr2ならびに目標H成分値Ht1およびHt2はH調整回路28dに与えられる。また、基準C成分値Cr1およびCr2ならびに目標C成分値Ct1およびCt2はC調整回路28cに与えられる。さらに、基準L成分値Lr1およびLr2ならびに目標L成分値Lt1およびLt2はL調整回路28bに与えられる。
The reference H component values Hr1 and Hr2 and the target H component values Ht1 and Ht2 are given to the
H調整回路28dは、LCH変換回路28aから現画素H成分値Hinを取り込み、数1に従って補正H成分値Houtを算出する。算出された補正H成分値Houtは、図8に破線で示す角度にシフトする。
The
H調整回路28dはまた、角度データα(=|Hr2−Hin|)およびβ(=|Hr1−Hin|)をC調整回路28cおよびL調整回路28bに出力するとともに、角度データγ(=|Ht2−Hout|)およびδ=(|Ht1−Hout|)をL調整回路28bに出力する。
The
C調整回路28cは、LCH変換回路28aから取り込んだ現画素C成分値Cinに数2に示す演算を施し、図9に示す補正C成分値Coutを算出する。
The
C調整回路28cはまた、数3を演算して、CH系の座標(0,0)および(Cin,Hin)を結ぶ直線と座標(Cr1,Hr1)および(Cr2,Hr2)を結ぶ直線との交点座標におけるC成分値Cr3、ならびにCH系の座標(0,0)および(Cout,Hout)を結ぶ直線と座標(Ct1,Ht1)および(Ct2,Ht2)を結ぶ直線との交点座標におけるC成分値Ct3を算出する。そして、算出したC成分値Cr3およびCt3を上述の現画素C成分値Cinおよび補正C成分値CoutとともにL調整回路28bに出力する。
The
L調整回路28bは、LCH変換回路28aから現画素L成分値Linを取り込み、数4に従って図10に示す補正L成分値Loutを求める。図10に示すLmaxおよびLminはそれぞれ、再現できるL(明度)の最大値および最小値である。現画素値(入力画素値)は、LCH系の座標(Lmax,0,0)、(Lmin,0,0)および(Lr3,Cr3,Hin)によって形成される面(YUV空間を色相Hinで切り出した面)上に存在する。一方、補正画素値は、LCH系の座標(Lmax,0,0)、(Lmin,0,0)および(Lt3,Ct3,Hout)によって形成される面(YUV空間を色相Houtで切り出した面)上に存在する。
The
このようにして求められた補正H成分値Hout,補正C成分値Coutおよび補正L成分値Loutによって、補正画素値が規定される。なお、現画素値は、LCH変換回路28aから出力された現画素H成分値Hin,現画素C成分値Cinおよび現画素L成分値Linによって規定される。
A corrected pixel value is defined by the corrected H component value Hout, the corrected C component value Cout, and the corrected L component value Lout thus obtained. The current pixel value is defined by the current pixel H component value Hin, the current pixel C component value Cin, and the current pixel L component value Lin output from the
CPU46は、画質調整キー52が操作されたとき、図11に示すフロー図に従う画質調整処理を実行する。なお、このフロー図に対応する制御プログラムは、フラッシュメモリ62に記憶される。
When the image
まずステップS31で現時点のモードがカメラモードであるか否か判別する。ここでNOであれば直接ステップS35に進むが、YESであれば、ステップS33でTG16および信号処理回路22を不能化してからステップS35に進む。
First, in step S31, it is determined whether or not the current mode is a camera mode. If “NO” here, the process directly proceeds to the step S35, but if “YES”, the
ステップS35では、カーソルCSを示すキャラクタ信号の出力をキャラクタジェネレータ36に命令する。この結果、カーソルCSがモニタ画面に表示される。
In step S35, the
ステップS37ではセットキー56が操作されたか否かを判別し、ステップS43では十字キー54が操作されたか否かを判別する。また、ステップS47ではシャッタボタン50が操作されたか否か判別し、ステップS51ではキャンセルキー58が操作されたか否か判別する。
In step S37, it is determined whether or not the set
セットキー56が操作されたときは、ステップS37でYESと判断し、ステップS39でテーブル更新処理を実行する。ステップS41では画質調整回路28に向けて処理命令を発行する。画質調整回路28は、基準値テーブル28iとステップS39によって更新された目標値テーブル28jとを参照して色調補正を実行する。この結果、LCDモニタ34に表示されたフリーズ画像または再生画像から、カーソルCSが指向する色が消去される。
When the set
十字キー54が操作されたときはステップS43でYESと判断し、ステップS45でカーソルCSの移動命令をキャラクタジェネレータ36に向けて発行する。キャラクタジェネレータ36は、キャラクタ信号の出力タイミングを変更する。これによって、カーソルCSの表示位置が所望の方向に移動する。
When the cross key 54 is operated, YES is determined in step S43, and a command to move the cursor CS is issued to the
シャッタボタン50が操作されたときは、ステップS47でYESと判断し、ステップS49で圧縮/記録処理を実行する。この結果、画質が調整された画像データが圧縮状態でメモリカード42に記録される。キャンセルキー58が操作されたときは、ステップS43でYESと判断し、上階層のルーチンに復帰する。
When the
ステップS39のテーブル更新処理は、図12に示すサブルーチンに従って実行される。まずステップS61で、カーソルCSが指向する画素の色相を検出する。具体的には、注目する画素データをメモリ制御回路24を通してSDRAM26から読み出し、読み出された画素データにLCH変換を施し、そしてH成分値を検出する。ステップS63では検出されたH成分値を挟む2つの基準H成分値を基準値テーブル28iから特定し、ステップS65では特定された2つの基準H成分値にそれぞれ対応する2つの基準値番号を検出する。ステップS67では、検出された2つの基準値番号と同じ2つの目標値番号にそれぞれ割り当てられた2つの目標C成分値を“0”に設定する。ステップS67の処理が完了すると、上階層のルーチンに復帰する。
The table update process in step S39 is executed according to a subroutine shown in FIG. First, in step S61, the hue of the pixel to which the cursor CS is directed is detected. Specifically, the pixel data of interest is read from the
以上の説明から分かるように、画像データを形成する画素データの色調は、基準値テーブル28iに設定された基準値(基準H成分値,基準C成分値および基準L成分値)、ならびに目標値テーブル28jに設定された目標値(目標H成分値,目標C成分値および目標L成分値)に基づいて、画質調整回路28によって補正される。
As can be understood from the above description, the color tone of the pixel data forming the image data includes the reference values (reference H component value, reference C component value, and reference L component value) set in the reference value table 28i, and the target value table. Based on the target values (target H component value, target C component value, and target L component value) set to 28j, the image
ここで、基準値テーブル28iに設定された複数の基準値の各々が代表色を規定する。目標値テーブル28jに設定された目標値は、各々の代表色に割り当てられる。なお、目標H成分値が色相補正係数であり、目標C成分値が彩度補正係数である。 Here, each of the plurality of reference values set in the reference value table 28i defines a representative color. The target value set in the target value table 28j is assigned to each representative color. The target H component value is a hue correction coefficient, and the target C component value is a saturation correction coefficient.
色調補正を施された画像データに基づく画像は、ビデオエンコーダ30によってLCDモニタ34に表示される。一方、キャラクタジェネレータ36は、ポインタであるカーソルCSをLCDモニタ34にOSD表示する。
An image based on the image data subjected to the color tone correction is displayed on the
セットキー56が操作されると、CPU46は、カーソルCSが指向する画素の色相を検出する(S61)。CPU46はまた、検出された色相を挟む色相を有する2つの基準H成分値に割り当てられた基準値番号を特定し(S63, S65)、特定された基準値番号と同じ目標値番号に割り当てられた2つの目標C成分値を所定値である“0”に設定する(S65)。
When the set
LCDモニタ34に表示される画像の色調は、かかる目標C成分値の更新によって変化する。具体的には、カーソルCSが指向する画素の色と同じ色が、画面上から消去される。このように表示画像の色調は表示画像に向けられた簡単な操作によって変化するため、操作性が向上する。 The color tone of the image displayed on the LCD monitor 34 changes as the target C component value is updated. Specifically, the same color as the pixel to which the cursor CS is directed is deleted from the screen. As described above, the color tone of the display image is changed by a simple operation directed to the display image, so that the operability is improved.
なお、この実施例では、ステップS65で目標C成分値を“0”に変更するようにしているが、目標C成分値は“0”以外の数値に変更してもよい。また、この実施例では、目標C成分値を変更するようにしているが、これに代えて目標H成分値または目標L成分値を変更したり、目標C成分値,目標H成分値および目標L成分値の全てを変更するようにしてもよい。 In this embodiment, the target C component value is changed to “0” in step S65, but the target C component value may be changed to a value other than “0”. In this embodiment, the target C component value is changed. Instead, the target H component value or the target L component value is changed, or the target C component value, the target H component value, and the target L component are changed. All of the component values may be changed.
他の実施例のディジタルカメラは、CPU46が図12に示すサブルーチンに代えて図14に示すサブルーチンを実行する点を除き、上述の実施例と同じであるため、同じ部分に関する重複した説明は省略する。
The digital camera of another embodiment is the same as the above-described embodiment except that the
図14を参照して、ステップS71ではカーソルCSが指向する画素の色相(H成分値)をステップS61と同じ要領で検出し、検出されたH成分値を基準H成分値として基準値テーブル28iの基準値番号“12”に割り当てる。つまり、基準H成分値を基準値テーブル28iに新規に設定する。 Referring to FIG. 14, in step S71, the hue (H component value) of the pixel to which the cursor CS is directed is detected in the same manner as in step S61, and the detected H component value is set as the reference H component value in the reference value table 28i. The reference value number “12” is assigned. That is, the reference H component value is newly set in the reference value table 28i.
ステップS73では、ステップS71で検出されたH成分値を挟む2つの基準H成分値を特定し、ステップS75では特定された2つの基準H成分値に割り当てられた2つの基準値番号を検出する。 In step S73, two reference H component values sandwiching the H component value detected in step S71 are specified, and in step S75, two reference value numbers assigned to the two specified reference H component values are detected.
ステップS77では、検出された2つの基準値番号に対応する2つの基準C成分値を基準値テーブル28iから読み出し、読み出された基準C成分値の線形補間によって新規の基準C成分値を作成し、そして作成された基準C成分値を基準値テーブル28iの基準値番号“12”に割り当てる。 In step S77, two reference C component values corresponding to the detected two reference value numbers are read from the reference value table 28i, and a new reference C component value is created by linear interpolation of the read reference C component values. Then, the created reference C component value is assigned to the reference value number “12” of the reference value table 28i.
ステップS79では、ステップS75で検出された2つの基準値番号と同じ2つの目標値番号に割り当てられた2つの目標H成分値を目標値テーブル28jから読み出し、読み出された目標H成分値の線形補間によって新規の目標H成分値を作成し、そして作成された目標H成分値を目標値テーブル28jの目標値番号“12”に割り当てる。ステップS81では、“0”を示す目標H成分値を目標値テーブル28jの目標値番号“12”に割り当てる。 In step S79, the two target H component values assigned to the same two target value numbers as the two reference value numbers detected in step S75 are read from the target value table 28j, and the linearity of the read target H component values is read. A new target H component value is created by interpolation, and the created target H component value is assigned to the target value number “12” of the target value table 28j. In step S81, the target H component value indicating “0” is assigned to the target value number “12” of the target value table 28j.
ステップS83では、検出された2つの基準値番号に対応する2つの基準L成分値を基準値テーブル28iから読み出し、読み出された基準L成分値の線形補間によって新規の基準L成分値を作成し、そして作成された基準L成分値を基準値テーブル28iの基準値番号“12”に割り当てる。 In step S83, two reference L component values corresponding to the detected two reference value numbers are read from the reference value table 28i, and a new reference L component value is created by linear interpolation of the read reference L component values. Then, the created reference L component value is assigned to the reference value number “12” of the reference value table 28i.
ステップS85では、ステップS75で検出された2つの基準値番号と同じ2つの目標値番号に割り当てられた2つの目標L成分値を目標値テーブル28jから読み出し、読み出された目標L成分値の線形補間によって新規の目標H成分値を作成し、そして作成された目標L成分値を目標値テーブル28jの目標値番号“12”に割り当てる。 In step S85, two target L component values assigned to the same two target value numbers as the two reference value numbers detected in step S75 are read from the target value table 28j, and the linearity of the read target L component values is read. A new target H component value is created by interpolation, and the created target L component value is assigned to the target value number “12” of the target value table 28j.
ステップS87では、基準値テーブル28iに設定された13個の基準値を基準H成分値が大きくなる順にソートし、さらに目標値テーブル28jに設定された13個の目標値を基準値テーブル28iとの対応関係が確保されるようにソートする。かかるソートが完了すると、上階層のルーチンに復帰する。 In step S87, the 13 reference values set in the reference value table 28i are sorted in the order of increasing reference H component values, and the 13 target values set in the target value table 28j are further compared with the reference value table 28i. Sort so as to ensure correspondence. When such sorting is completed, the routine returns to the upper layer routine.
画質調整回路28は、基準値が追加された基準値テーブル28iおよび目標値が追加された目標値テーブル28jを参照して、色調補正を行う。領域判別回路28fの動作に必要な最大値Nmaxは、追加された基準値および目標値が1つであれば“12”となり、追加された基準値および目標値が2つであれば“13”となる。
The image
基準値テーブル28iに当初から設定されている12個の基準値、および目標値テーブル28jに当初から設定されている12個の目標値は、図15に示す要領でCH平面上に分布する。さらに、基準値番号“6”および“7”に対応する基準値、ならびに目標値番号“6”および“7”に対応する目標値は、図16に示す要領でCH平面上に分布する。 The twelve reference values set from the beginning in the reference value table 28i and the twelve target values set from the beginning in the target value table 28j are distributed on the CH plane as shown in FIG. Further, the reference values corresponding to the reference value numbers “6” and “7” and the target values corresponding to the target value numbers “6” and “7” are distributed on the CH plane in the manner shown in FIG.
カーソルCSが示す画素の色相がHrsであれば、“Hrs”を示す基準H成分値がステップS71で基準値テーブル28iに設定される。ステップS77の線形補間では、基準C成分値Cr6およびCr7が“Hr6−Hrs”および“Hr7−Hrs”との比率に従う重み付け加算を施される。これによって、基準C成分値Crsが求められる。ステップS79の線形補間では、目標H成分値Ht6およびHt7が“Hr6−Hrs”および“Hr7−Hrs”との比率に従う重み付け加算を施される。これによって、目標H成分値Htsが求められる。 If the hue of the pixel indicated by the cursor CS is Hrs, the reference H component value indicating “Hrs” is set in the reference value table 28i in step S71. In the linear interpolation in step S77, the reference C component values Cr6 and Cr7 are weighted and added according to the ratio of “Hr6-Hrs” and “Hr7-Hrs”. Thus, the reference C component value Crs is obtained. In the linear interpolation of step S79, the target H component values Ht6 and Ht7 are subjected to weighted addition according to the ratio of “Hr6-Hrs” and “Hr7-Hrs”. Thus, the target H component value Hts is obtained.
以上の説明から分かるように、画像データを形成する画素データの色調は、基準値テーブル28iに設定された基準値(基準H成分値,基準C成分値および基準L成分値)、ならびに目標値テーブル28jに設定された目標値(目標H成分値,目標C成分値および目標L成分値)に基づいて、画質調整回路28によって補正される。
As can be understood from the above description, the color tone of the pixel data forming the image data includes the reference values (reference H component value, reference C component value, and reference L component value) set in the reference value table 28i, and the target value table. Based on the target values (target H component value, target C component value and target L component value) set to 28j, the image
ここで、基準値テーブル28iに設定された複数の基準値が代表色を規定する。目標値テーブル28jに設定された目標値は、各々の代表色に割り当てられる。なお、目標H成分値が色相補正係数であり、目標C成分値が彩度補正係数である。 Here, the plurality of reference values set in the reference value table 28i define the representative color. The target value set in the target value table 28j is assigned to each representative color. The target H component value is a hue correction coefficient, and the target C component value is a saturation correction coefficient.
色調補正を施された画像データに基づく画像は、ビデオエンコーダ30によってLCDモニタ34に表示される。一方、キャラクタジェネレータ36は、ポインタであるカーソルCSをLCDモニタ34にOSD表示する。
An image based on the image data subjected to the color tone correction is displayed on the
セットキー56が操作されると、CPU46は、カーソルCSが指向する画素の色相を検出し、検出された色相を基準H成分値として新規の代表色に割り当てる(S71)。CPU46はまた、線形補間によって求めた基準C成分値および基準L成分値をこの新規の代表色に割り当てる(S77, S83)。
When the set
CPU46はさらに、色相に関して新規の代表色を挟む2つの代表色を特定する(S75)。CPU46はまた、特定された2つの代表色にそれぞれ割り当てられた2つの目標H成分値に線形補間を施して新規の目標H成分値を作成し(S79)、特定された2つの代表色にそれぞれ割り当てられた2つの目標L成分値に線形補間を施して新規の目標L成分値を作成し(S85)、そして所定値であり“0”を示す目標C成分値を作成する。作成された新規の目標値は、新規の代表色に割り当てられる。LCDモニタ34に表示される画像の色調は、かかる新規の目標値に基づいて補正される。これによって、オペレータの好みの色について色調補正を行うことができる。
The
なお、この実施例では、フリーズ画像または再生画像に色調補正を施すようにしているが、これに代えてスルー画像に色調補正を施すようにしてもよい。この場合、画質調整回路28は、信号処理回路22内に設ける必要がある。
In this embodiment, the tone correction is performed on the freeze image or the reproduced image, but the tone correction may be performed on the through image instead. In this case, the image
10 …ディジタルカメラ
14 …イメージセンサ
26 …SDRAM
28 …画質調整回路
32 …LCDモニタ
48 …CPU
52 …画質調整キー
10 ...
28 ... Image
52 ... Image quality adjustment key
Claims (2)
前記撮影手段による撮影中に、前記撮影手段によって取得される動画像を表示する第1表示手段、
前記第1表示手段によって表示される動画像上にポインタを表示する第2表示手段、
前記第1表示手段によって表示される動画像上で前記第2表示手段によって表示されるポインタが指向する画素を選択する選択操作を受け付ける受付手段、
前記選択操作によって選択された画素の色相を検出する検出手段、
前記検出手段によって検出された色相を挟む色相を有する2つの代表色を特定する特定手段、
前記特定手段によって特定される2つの代表色に割り当てられた2つの色調補正係数を更新する更新手段、
前記第1表示手段によって表示される動画像を構成するフレーム画像を形成する複数の画素のうち、前記2つの代表色がそれぞれ有する色相に挟まれる色相を有する画素を検出し、検出した画素の色調を前記更新手段により更新された前記2つの色調補正係数に基づいて補正する補正手段、および
前記補正手段によって補正された動画像を表示する第3表示手段、
を備える、撮像装置。 Photographing means for acquiring a moving image of a subject by photographing;
A first display means for displaying a moving image acquired by the photographing means during photographing by the photographing means;
Second display means for displaying a pointer on the moving image displayed by the first display means;
Accepting means for accepting a selection operation for selecting a pixel directed by a pointer displayed by the second display means on a moving image displayed by the first display means;
Detection means for detecting the hue of the pixel selected by the selection operation;
Specifying means for specifying two representative colors having hues sandwiching the hue detected by the detecting means;
Updating means for updating two tone correction coefficients assigned to the two representative colors specified by the specifying means;
Among a plurality of pixels forming a frame image constituting a moving image displayed by the first display means, a pixel having a hue sandwiched between hues of the two representative colors is detected, and the color tone of the detected pixel is detected. wherein said updated by the updating means two color correction means for correcting, based on the correction coefficient, and a third display means for displaying the dynamic image corrected by said correcting means,
An imaging apparatus comprising:
前記色調補正係数は前記色相,前記彩度および前記明度の少なくとも1つを補正する係数である、請求項1記載の撮像装置。 The hue is defined by hue, saturation and brightness,
The imaging apparatus according to claim 1, wherein the tone correction coefficient is a coefficient for correcting at least one of the hue, the saturation, and the brightness.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010188710A JP5121898B2 (en) | 2010-08-25 | 2010-08-25 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010188710A JP5121898B2 (en) | 2010-08-25 | 2010-08-25 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004094866A Division JP4916093B2 (en) | 2004-03-29 | 2004-03-29 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011030237A JP2011030237A (en) | 2011-02-10 |
JP5121898B2 true JP5121898B2 (en) | 2013-01-16 |
Family
ID=43638342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010188710A Expired - Fee Related JP5121898B2 (en) | 2010-08-25 | 2010-08-25 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5121898B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191400A (en) * | 1995-01-11 | 1996-07-23 | Dainippon Printing Co Ltd | Method and device for adjusting color of color image |
JPH08256275A (en) * | 1995-01-12 | 1996-10-01 | Brother Ind Ltd | Color image signal processing method and device using the method |
JP3630835B2 (en) * | 1996-04-02 | 2005-03-23 | キヤノン株式会社 | Image processing method |
JPH10285414A (en) * | 1997-04-02 | 1998-10-23 | Ricoh Syst Kaihatsu Kk | Color adjustment method and recording medium storing the same |
JP3561680B2 (en) * | 2000-07-14 | 2004-09-02 | 三洋電機株式会社 | Digital camera |
JP2002095007A (en) * | 2000-09-19 | 2002-03-29 | Sony Corp | Chroma key device |
JP3877544B2 (en) * | 2001-05-11 | 2007-02-07 | 三洋電機株式会社 | Digital camera |
JP3631168B2 (en) * | 2001-06-19 | 2005-03-23 | 三洋電機株式会社 | Digital camera |
JP2004005566A (en) * | 2002-04-23 | 2004-01-08 | Matsushita Electric Ind Co Ltd | Color compiling apparatus and color compiling method |
-
2010
- 2010-08-25 JP JP2010188710A patent/JP5121898B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011030237A (en) | 2011-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3877544B2 (en) | Digital camera | |
KR20060120643A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2005275977A (en) | Image display method, image display device, and image display program | |
JP2006191492A (en) | Image pickup device and control method thereof | |
US7173654B2 (en) | Digital camera having color adjustment capability | |
JP3561680B2 (en) | Digital camera | |
JP2012142823A (en) | Display controller, imaging apparatus and display control program | |
JP3754364B2 (en) | Digital camera | |
JP2008147978A (en) | Image processor and image processing method | |
JP4916093B2 (en) | Image processing device | |
JP5121898B2 (en) | Imaging device | |
JP3992476B2 (en) | Image processing device | |
US20110050949A1 (en) | Color Adjusting Apparatus | |
JP5078218B2 (en) | Digital camera | |
JP4481846B2 (en) | Color conversion apparatus and method, and imaging apparatus | |
JP2008035457A (en) | Electronic camera and image processing program | |
JP4671893B2 (en) | Electronic camera | |
JP2002330387A (en) | Electronic camera | |
JP6257131B2 (en) | Image editing apparatus, image editing method, and program | |
JP2011228901A (en) | Imaging apparatus | |
JP2018082359A (en) | Image processing apparatus and method, and imaging apparatus | |
JP2018081595A (en) | Image processing device and method and imaging device | |
JP2016181798A (en) | Imaging device and control method for the same | |
JP2012178751A (en) | Image processing apparatus, imaging apparatus, and imaging condition control system and program for imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111117 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120626 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120925 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121023 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5121898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151102 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |