JP4325599B2 - 撮像装置および表示制御方法 - Google Patents

撮像装置および表示制御方法 Download PDF

Info

Publication number
JP4325599B2
JP4325599B2 JP2005243585A JP2005243585A JP4325599B2 JP 4325599 B2 JP4325599 B2 JP 4325599B2 JP 2005243585 A JP2005243585 A JP 2005243585A JP 2005243585 A JP2005243585 A JP 2005243585A JP 4325599 B2 JP4325599 B2 JP 4325599B2
Authority
JP
Japan
Prior art keywords
color signal
replacement
edge
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005243585A
Other languages
English (en)
Other versions
JP2007060328A (ja
Inventor
徳一郎 山田
勉 久米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005243585A priority Critical patent/JP4325599B2/ja
Priority to US11/509,149 priority patent/US7889270B2/en
Publication of JP2007060328A publication Critical patent/JP2007060328A/ja
Application granted granted Critical
Publication of JP4325599B2 publication Critical patent/JP4325599B2/ja
Priority to US13/018,531 priority patent/US8576328B2/en
Priority to US14/021,112 priority patent/US8988589B2/en
Priority to US14/616,063 priority patent/US9554032B2/en
Priority to US15/388,721 priority patent/US10116869B2/en
Priority to US16/141,050 priority patent/US11089203B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置、およびこの撮像装置における表示制御方法に関し、特に、マニュアルフォーカス機能を備えた撮像装置および表示制御方法に関する。
デジタルスチルカメラやデジタルビデオカメラなど、固体撮像素子を用いた従来の撮像装置では、被写体に対して自動的にフォーカスを合わせるオートフォーカス(AF)機能が搭載されているものが多かったが、最近では、マニュアル操作でフォーカスを合わせられるマニュアルフォーカス機能を持つものも多くなってきている。また、このような撮像装置では、通常、背面に設けられたLCD(Liquid Crystal Display)などのモニタ(あるいは電子ビューファインダ)に撮像画像が表示され、ユーザはモニタを視認してフォーカス調整状態を確認する。
オートフォーカス機能を持つ従来の撮像装置では、フォーカス調整の結果を示す何らかの画像をモニタに表示して、合焦したことをユーザに知らしめるようにしたものがあった。例えば、合焦時にロックマークを表示する、あるいは画像を分割したエリアのうち、合焦したエリアをハイライト表示するなどの機能を持つ装置があった。また、合焦した被写体のエッジにその被写体とは別の色を付けるようにした装置もあった(例えば、特許文献1参照)。
一方、マニュアルフォーカス機能を持つ従来の撮像装置では、エッジの検出情報をバーグラフなどでモニタに表示させるものや、分割エリアのうち合焦したエリアをモニタ上に明示するようにしたものがあった。また、エッジの検出情報に基づく合焦状態に応じて、分割エリアのそれぞれの色を変えるようにしたものもあった(例えば、特許文献2参照)。
特開2001−8085号公報(段落番号〔0019〕、図4) 特開平6−113183号公報(段落番号〔0022〕〜〔0039〕、図2)
しかし、マニュアル操作によるフォーカス調整時において、分割エリアごとに合焦状態を示す手法では、同一エリア内に複数の被写体が存在した場合、それらのどの被写体に対しての合焦状態を示しているのかをユーザが理解できない。このため、エリアを再設定する、あるいは特定のエリアで合焦するように構図を動かすなどの措置が必要となる。
また、より正確なフォーカス調整を行うには、ユーザがモニタに表示された被写体の鮮鋭度を目視し、調整状態を判別できることが望ましい。しかし、撮像装置が備える背面のモニタのほとんどは、その大きさや製造コストなどの問題から、被写体の鮮鋭度をユーザが正確に確認できるほどの解像度、大きさを備えておらず、マニュアル操作による正確なフォーカス調整を目視により行うことは難しかった。
本発明はこのような点に鑑みてなされたものであり、モニタの表示画像を視認しながら正確なマニュアルフォーカス調整が可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、モニタの表示画像を視認しながら正確なマニュアルフォーカス調整が可能となる撮像装置における表示制御方法を提供することを目的とする。
本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、ユーザの操作入力に応じてフォーカスレンズの位置を制御するマニュアルフォーカス調整手段と、撮像により得られた画像信号から画素ごとにエッジ成分を検出し、その検出レベルを出力するエッジ検出手段と、前記検出レベルが所定値以上のとき、前記画像信号上の対応する画素の信号または当該画素を含む所定範囲の画素の信号を所定の色信号に置換する色信号置換手段と、前記色信号置換手段の出力画像信号に基づいて画像を表示する表示手段と、前記色信号置換手段による色信号の置換動作が無効である状態において、前記マニュアルフォーカス調整手段により前記フォーカスレンズの移動が開始されると、前記色信号置換手段による色信号の置換動作を有効にする置換動作制御手段と、を有することを特徴とする撮像装置が提供される。
このような撮像装置では、撮像により得られた画像信号のうち、エッジ検出手段によるエッジ成分の検出レベルが所定値以上となった画素の信号、またはその画素を含む所定範囲の画素の信号が、色信号置換手段により所定の色信号に置換される。これにより、表示手段に表示される撮像画像においては、合焦度が比較的高い被写体のエッジ部分が所定の色で表示される。
また、例えば、色信号を置換する際に、エッジ成分の検出レベルに応じた異なる色信号で置換を行うようにしてもよい。この場合、表示手段に表示される撮像画像においては、被写体のエッジ部分が合焦度の高さに応じて異なる色で表示されるようになる。
本発明の撮像装置によれば、表示手段に表示される撮像画像において、合焦度が比較的高い被写体のエッジ部分が所定の色で表示されるので、マニュアル操作でフォーカス合わせをしているユーザが、合焦度が比較的高い被写体のエッジ部分を視認しやすくなり、より正確にフォーカスを調整できるようになる。
さらに、色信号を置換する際に、エッジ成分の検出レベルに応じた異なる色信号で置換を行うようにした場合、表示手段に表示される撮像画像において、被写体のエッジ部分が合焦度の高さに応じて異なる色で表示されるようになるので、ユーザはどの被写体にフォーカスが合っているかを容易に確認できるようになり、一層正確にフォーカスを調整できるようになる。
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。
図1に示す撮像装置は、光学ブロック1、撮像素子2、アナログフロントエンド(AFE)回路3、カメラ処理回路4、表示処理回路5、モニタ6、マイクロコントローラ7、および入力部8を具備する。また、この撮像装置には、光学ブロック1内のフォーカスレンズ11を駆動するためのモータ12、その制御のためのモータ制御回路13、撮像素子2を駆動するためのタイミングジェネレータ(TG)14が設けられている。
光学ブロック1は、被写体からの光を撮像素子2に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。図1では特に、フォーカスレンズ11の駆動機構としてモータ12を示しており、このモータ12が、モータ制御回路13からの駆動制御信号に応じて動作することで、フォーカスレンズ11が移動する。モータ制御回路13は、マイクロコントローラ7からの制御信号に応じて、モータ12の駆動を制御する。
撮像素子2は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などの固体撮像素子であり、TG14から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。TG14は、マイクロコントローラ7の制御の下でタイミング信号を出力する。
AFE回路3は、撮像素子2から出力された画像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドを行い、さらにAGC(Auto Gain Control)処理により利得を制御し、A/D(Analog/Digital)変換を行ってデジタル画像信号を出力する。
カメラ処理回路4は、AFE回路3からの画像信号に対するAF、AE(Auto Exposure)、ホワイトバランス調整などの各種カメラ信号処理、またはその処理の一部を実行する。
表示処理回路5は、カメラ処理回路4から供給された画像信号から、モニタ6に表示させるための画像信号を生成して、この信号をモニタ6に供給し、画像を表示させる。このような機能の1つとして、表示処理回路5は、モニタ6の解像度に合わせて入力画像信号の解像度を変換する解像度変換部51を備える。さらに、本実施の形態では、マニュアルフォーカスモードの選択時に、エッジ検出結果に応じてエッジ部の表示色を変化させるための機能ブロックとして、後述するエッジ検出部52、色信号出力部53、および置換処理部54を備えている。
モニタ6は、例えばLCDからなり、撮像中のカメラスルー画像や図示しない記録媒体に記録されたデータに基づく再生画像などを表示する。モニタ6は、例えばこの撮像装置の背面に設けられる。あるいは、電子ビューファインダとして設けられてもよく、背面モニタと電子ビューファインダの双方が個別に設けられてもよい。
マイクロコントローラ7は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成され、ROMなどに記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御し、また、その制御のための各種演算を実行する。
入力部8は、ユーザの操作入力を受け付ける操作キー、ダイアル、レバーなどを含み、操作入力に応じた制御信号をマイクロコントローラ7に出力する。この入力部8としては、従来から一般的に設けられているシャッタレリーズボタンなどの他に、本実施の形態では、特に、マニュアル操作でフォーカスを合わせるためのフォーカスリングあるいはフォーカスボタンなどのスイッチや、オートフォーカスおよびマニュアルフォーカスのモード切り替え、エッジ検出結果に基づいてエッジを強調して表示するモード(エッジ強調モードと呼ぶ)のオン/オフのためのスイッチなどを含む。
この撮像装置では、撮像素子2によって受光されて光電変換された信号が、順次AFE回路3に供給され、CDS処理やAGC処理が施された後、デジタル信号に変換される。カメラ処理回路4は、AFE回路3から供給されたデジタル画像信号を画質補正処理し、最終的に輝度信号と色差信号とに変換して出力する。
カメラ処理回路4から出力された画像データは、表示処理回路5に供給されて表示用の画像信号に変換され、これによりモニタ6にカメラスルー画像が表示される。また、入力部8からのユーザの入力操作などによりマイクロコントローラ7に対して画像の記録が指示されると、カメラ処理回路4からの画像データは図示しないCODEC(enCOder,DECoder)に供給され、所定の圧縮符号化処理が施されて図示しない記録媒体に記録される。静止画像の記録の際には、カメラ処理回路4からは1フレーム分の画像データがCODECに供給され、動画像の記録の際には、処理された画像データがCODECに連続的に供給される。
次に、この撮像装置におけるフォーカス合わせについて説明する。
この撮像装置は、オートフォーカスモードとマニュアルフォーカスモードとを備えている。オートフォーカスモードが選択されたときは、例えば、カメラ処理回路4のAF検波機能により画像上の所定領域の高周波成分を積分することでコントラストを示すフォーカス評価値が求められる。そして、マイクロコントローラ7の処理によりフォーカス評価値が最大となるようにフォーカスレンズ11の位置が制御され、これによりフォーカスレンズ11が合焦位置に自動的に移動する。
一方、マニュアルフォーカスモードが選択されたときは、入力部8のフォーカスリングなどの操作に応じてフォーカスレンズ11が移動される。さらに、マニュアルフォーカスモードにおいては、モニタ6においてエッジ部分の色を変化させて表示させるエッジ強調モードを選択することができる。エッジ強調モードが選択されると、表示処理回路5内のエッジ検出部52、色信号出力部53、置換処理部54の動作が開始される。
エッジ検出部52は、解像度変換部51からの出力画像信号から、画素ごとにエッジ成分を検出する。具体的には、例えば、解像度変換部51からの出力画像信号に対して、画素ごとにハイパス(またはバンドパス)フィルタ処理を施し、エッジ成分の検出レベル(エッジレベル)を算出する。色信号出力部53は、エッジ検出部52によって検出されたエッジレベルが所定値以上の場合に、置換処理部54に対するエッジ検出フラグをHレベルにするとともに、そのエッジレベルに応じた色信号を出力する。置換処理部54は、エッジ検出部52からのエッジ検出フラグがHレベルのときに、解像度変換部51からの画像信号を、色信号出力部53からの色信号で置換する。これにより、エッジレベルが所定レベル以上となったエッジ部分が、そのレベルに応じた色信号に変換されてモニタ6上に表示される。
図2は、エッジ強調モード選択時における表示処理回路内の各種信号を示すタイミングチャートである。
この図2では、図中上側に示した画像21上の水平ラインL1に対するエッジ検出を行ったときの、エッジ検出部52におけるエッジレベル、エッジ検出フラグ、および色信号出力部53からの色信号について示している。なお、画像21は、エッジ検出部52および置換処理部54に入力される画像信号に基づくものである。
この図2に示すように、水平ラインL1上のエッジE1〜E3を挟む画素について、エッジレベルが所定値以上となり、エッジ検出フラグがHレベルとなる。また、エッジレベルの大きさに応じて、色信号出力部53の色信号のレベルが可変される。ここでは基本的に、エッジレベルが高いほど、輝度の高い信号とする。置換処理部54は、エッジ検出フラグがHレベルとなっている画素の信号を、色信号出力部53からの色信号に置換して出力する。
図3は、エッジ強調モード選択時におけるモニタの表示画像の例を示す図である。
図3の画像22は、エッジ強調モード選択時に、図2に示した画像21を置換処理部54に入力したとき、置換処理部54から出力されてモニタ6に表示される画像である。図2に示したように、エッジE2およびE3でのエッジレベルが高いため、これらを挟む画素の色が輝度の高い色に変換される。また、エッジE1でのエッジレベルは、エッジE2およびE3と比較して低いことから、より低い輝度の色に変換される。
通常、フォーカスレンズ11の位置が合焦位置に近づくほど、エッジ成分の検出値が大きくなる。このため、上記のような画像表示により、ある被写体のエッジ部分におけるエッジレベルが所定値以上のとき、そのエッジ部分が元の画像と相関のない別の色で表示され、ユーザがエッジ部分を容易に視認できるようになる。さらに、その被写体への合焦度が高いほど、エッジ部分が例えば明るい色で表示されて強調されることになるので、どの被写体に対してフォーカスが合っているのかを、ユーザがモニタ6を視認することで簡単かつ確実に確認できるようになる。
また、モニタ6の明るさや解像度の制約、周囲の状況などにより、通常の撮像画像をそのまま表示した状態ではエッジの鮮鋭度を視認しにくい状況であっても、どの被写体にどの程度フォーカスが合っているのかを容易に確認できるので、モニタ6の製造コストや大きさを増大させることなく、マニュアルフォーカスモードでのユーザの操作性を向上させることができる。
なお、上記図2および図3の例では、エッジレベルが所定値以上となった画素の信号のみを別の色信号に置換しているが、例えば、エッジ検出フラグのパルス幅を当該画素を中心とした複数画素分の幅とすることなどにより、当該画素を含む一定範囲の画素を別の色信号で置換するようにしてもよい。置換する画素の幅は、エッジ部分がモニタ6上でユーザにより視認しやすいように設定されればよい。
次に、エッジ検出部52および色信号出力部53の間の具体的な構成例について説明する。図4は、第1の実施の形態に係るエッジ検出部および色信号出力部の構成を示す図である。
図4に示すエッジ検出部52aは、解像度変換部51からの画像信号からハイパスフィルタ処理などにより画素ごとのエッジレベルを検出し、そのレベルが所定値以上のときエッジ検出フラグをHレベルとする。また、そのレベルに応じた変数nを算出して、色信号出力部53aに対して出力する。色信号出力部53aは、置換処理部54においてエッジ部分を置換する色信号をROMに複数記憶した色テーブル531を備え、エッジ検出部52aから指定された変数nに対応する色信号を色テーブル531から読み出し、置換処理部54に出力する。
図5は、第1の実施の形態に係るエッジ検出部の処理の流れを示すフローチャートである。
〔ステップS101〕エッジ検出部52aは、入力画像信号からエッジレベルeLVを検出する。
〔ステップS102〕エッジ検出部52aは、検出したエッジレベルeLVが、最小のしきい値eTHminより小さいか否かを判定する。
〔ステップS103〕ステップS102の判定でエッジレベルeLVがしきい値eTHminより小さい場合、エッジ検出部52aは、置換処理部54に対するエッジ検出フラグをLレベルとし、対象の画素に対する処理を終了する。これにより、置換処理部54では、処理対象の画素の信号が置換されずにそのまま出力される。
〔ステップS104〕ステップS102の判定でエッジレベルeLVがしきい値eTHmin以上である場合、エッジ検出部52aは、エッジ検出フラグをHレベルにする。
〔ステップS105〕エッジ検出部52aは、変数nに“1”をセットする。
〔ステップS106〕エッジ検出部52aは、しきい値eTHとして、第n番目のしきい値eTHnを設定する。
〔ステップS107〕エッジ検出部52aは、検出したエッジレベルeLVがしきい値eTHより小さいか否かを判定する。
〔ステップS108〕ステップS107の判定でエッジレベルeLVがしきい値eTH以上である場合、エッジ検出部52aは、変数nに“1”を加算する。この後、エッジ検出部52aは、ステップS106の処理を実行する。
〔ステップS109〕ステップS107の判定でエッジレベルeLVがしきい値eTHより小さい場合、エッジ検出部52aは、色テーブル531(ROM)に対してアドレスnを指定し、そのアドレスnに記憶された色信号を選択する。これにより、色テーブル531からは、指定されたアドレスnから色信号が読み出されて置換処理部54に出力され、置換処理部54では、処理対象の画素の信号が色テーブル531からの色信号に置換される。
以上の処理では、検出されたエッジレベルeLVがしきい値eTHmin以上の場合のみ、処理対象画素がエッジと判定されて、置換処理部54での信号置換が行われる。また、エッジレベルeLVの値に応じた異なる色信号が色テーブル531から出力され、置換処理部54に出力される。色テーブル531が記憶する色信号は、撮像画像信号とは相関のないものであり、変数nに応じて異なる色が割り当てられる。エッジ部分は変数nが大きいほど目立つ色で表示されることが望ましく、これにより、モニタ6上では、エッジ部分におけるエッジレベル(すなわち合焦状態)をユーザが簡単に判別できるようになる。なお、例えば、変数nが大きいほど輝度の高い信号を色テーブル531に記録しておくことで、エッジレベルが高いほど、そのエッジ部分を明るい色で強調して表示させることもできる。
また、以上の第1の実施の形態では、色信号出力部53aを、指定されたアドレスの色信号を読み出すだけの単純な構成とすることができる反面、色テーブル531として変数nの数に応じたメモリ領域を用意しておく必要がある。
図6は、第2の実施の形態に係るエッジ検出部および色信号出力部の構成を示す図である。
に示すエッジ検出部52bは、解像度変換部51からの画像信号からハイパスフィルタ処理などにより画素ごとのエッジレベルを検出し、そのレベルが所定値以上のときに処理対象の画素をエッジと判定し、エッジ検出フラグをHレベルとする。また、エッジと判定した場合には、そのエッジレベルに応じた変数DFを出力して、色信号出力部53bに対して出力する。
色信号出力部53bは、置換処理部54で利用する色信号の基準となる基準色信号CLRを、ROMからなる色記憶部532にあらかじめ記憶し、ゲイン調整部533により、この基準色信号CLRをエッジ検出部52bからの変数DFに応じたゲインで増幅し、増幅後の色信号を置換処理部54に出力する。なお、ここでは例として、赤系の基準色信号CLR(R)が色記憶部532に記憶されているものとする。
図7は、第2の実施の形態に係るエッジ検出部および色信号出力部の処理の流れを示すフローチャートである。
〔ステップS201〕エッジ検出部52bは、入力画像信号からエッジレベルeLVを検出する。
〔ステップS202〕エッジ検出部52bは、エッジレベルeLVとの比較のためのしきい値eTHを設定する。
〔ステップS203〕エッジ検出部52bは、エッジレベルeLVからしきい値eTHを減算した差分値(変数DF)を算出する。
〔ステップS204〕エッジ検出部52bは、変数DFが“0”より小さいか否かを判定する。
〔ステップS205〕ステップS204の判定で変数DFが“0”より小さい場合、エッジ検出部52bは、置換処理部54に対するエッジ検出フラグをLレベルとし、対象の画素に対する処理を終了する。これにより、置換処理部54では、処理対象の画素の信号が置換されずにそのまま出力される。
〔ステップS206〕ステップS204の判定で変数DFが“0”以上である場合、エッジ検出部52bは、対象画素をエッジと判定して、エッジ検出フラグをHレベルとし、変数DFを色信号出力部53bのゲイン調整部533に出力する。
〔ステップS207〕ゲイン調整部533は、色記憶部532から基準色信号CLR(R)を読み出し、この値に対して変数DFを乗算してゲイン調整し、調整後の色信号を置換処理部54に出力する。これにより、置換処理部54では、対象画素の信号がゲイン調整部533からの色信号に置換される。
以上の処理では、検出されたエッジレベルeLVがしきい値eTH以上の場合のみ、処理対象画素がエッジと判定されて、置換処理部54での信号置換が行われる。また、色信号出力部53bでは、エッジレベルeLVの値に応じたゲインにより単一色信号が変調され、これにより置換処理部54では、エッジレベルeLVが高いほどエッジ部分が鮮やかな色(明るい色)で表示されるようになる。
また、以上の第2の実施の形態では、第1の実施の形態と比較して、エッジ検出部52bの構成を単純化し、色記憶部532のメモリ容量を小さくできるが、ゲイン調整部533として演算回路が必要となる。
次に、エッジ強調モード選択時におけるより具体的な制御の例について説明する。図8は、エッジ強調モード選択時におけるマイクロコントローラの制御処理の流れを示すフローチャートである。なお、この図8の処理開始時には、マニュアルフォーカスモードおよびエッジ強調モードがともにONにされているものとする。
〔ステップS301〕マイクロコントローラ7は、入力部8のシャッタレリーズボタンが半押し状態であるか否かを判定する。半押し状態の場合にはステップS308に進み、そうでない場合はステップS302に進む。なお、シャッタレリーズボタンが半押し状態になると、例えばカメラ処理回路4およびマイクロコントローラ7によるAE制御があらためて実行されるなど、撮像画像信号を記録媒体に記録する際とほぼ同じ各種画像補正処理および撮像動作制御処理が実行され、記録時と同等またはそれに近い画質の画像がモニタ6に表示される。
〔ステップS302〕マイクロコントローラ7は、入力部8のフォーカスリング(あるいはフォーカスボタンなど)に対する操作により、フォーカスレンズ11に対する操作が要求されたか否かを判定する。要求があった場合はステップS303に進み、なかった場合はステップS304に進む。
〔ステップS303〕マイクロコントローラ7は、表示処理回路5によるエッジ強調表示機能をONにする(すなわち、エッジ検出部52、色信号出力部53、および置換処理部54の動作を有効にする)。また、内部のカウンタのカウント値を“0”にリセットする。この後、ステップS307に進む。
〔ステップS304〕マイクロコントローラ7は、表示処理回路5によるエッジ強調表示機能がONであるか否かを判定する。ONの場合はステップS305に進み、OFFの場合はステップS308に進む。
〔ステップS305〕マイクロコントローラ7は、内部のカウンタを“1”だけカウントアップする。なお、このカウントアップは、前回のカウントアップ(またはカウンタ値のリセット)から一定時間後に行われるものとする。この例では、フレーム(表示画)1枚分の出力間隔にカウント動作が同期している。
〔ステップS306〕マイクロコントローラ7は、カウント値がN(N≧1)であるか否か、すなわち、Nだけカウントする間、フォーカスレンズ11が止まったままであったか否かを判定する。カウント値がNの場合はステップS308に進み、そうでない場合はステップS307に進む。
〔ステップS307〕マイクロコントローラ7は、表示処理回路5のエッジ強調表示機能を動作させる。すなわち、エッジ検出部52にエッジを検出させ、そのエッジレベルに応じた色信号を色信号出力部53に出力させて、置換処理部54に、エッジ部分の画素信号を色信号で置換させる。この後、ステップS301に戻って処理を続行する。
〔ステップS308〕マイクロコントローラ7は、表示処理回路5によるエッジ強調表示機能をOFFにする(すなわち、エッジ検出部52、色信号出力部53、および置換処理部54の動作を無効にする)。
以上の制御例では、エッジ強調モードがONの場合でも、表示処理回路5のエッジ強調表示機能を必ずしも常時動作させず、フォーカスレンズ11に対する操作状態などに応じて動作を制御するようにしている。まず、基本的に、フォーカスを合わせるためのマニュアル操作があったとき(ステップS302)にエッジ強調表示機能を開始させ(ステップS303)、フォーカス合わせ操作が連続的に行われている間は、エッジ強調表示機能をONにしてエッジを強調して表示させ続ける。
しかし、操作の終了後、すなわちフォーカスレンズ11の停止後、カウント値がNに達するまでの一定時間にフォーカスレンズ11の移動が要求されなかった場合(ステップS306)は、フォーカス合わせが済み、撮像画像の合焦状態をユーザが確認しようとしていると考えられるので、エッジ強調表示機能をOFFにする(ステップS308)。これにより、ユーザの操作性を向上させることができ、また表示処理回路5内の無駄な動作による消費電力を抑制することもできる。
さらに、シャッタレリーズボタンが半押しになった場合(ステップS301)、マニュアルフォーカスモードでは通常、フォーカス合わせが済んで記録を開始する操作に入ったと考えられるので、エッジ強調表示機能を強制的にOFFにする(ステップS308)。これにより、シャッタ操作に対する記録のレスポンスを向上させることができる。
なお、上記の各実施の形態では、画像信号からのエッジ成分の検出を表示処理回路5において行っていたが、この検出処理を、例えば、カメラ処理回路4の内部で行うようにしてもよい。さらに、オートフォーカスモードを備えた撮像装置であれば、カメラ処理回路4の備えるオートフォーカス用のエッジ検出(高周波成分検波)機能を、マニュアルフォーカスモードにおけるエッジ強調表示機能のために兼用してもよい。
ただし、最近の撮像装置においては、通常、撮像素子2の画素数や記録媒体に記録可能な画像の画素数は、モニタ6の画素数より大きい。このため、カメラ処理回路4でのエッジ検出対象の画像信号は、表示処理回路5内のエッジ検出対象よりも画素数が多く、エッジ検出処理で通過させる周波数帯域が異なるものとなり、フィルタの構成や使用されるフィルタ係数なども異なるものとなる。
従って、カメラ処理回路4におけるエッジ検出結果を、表示処理回路5でのエッジ判定や色信号の出力制御に用いるためには、そのエッジ検出結果を画素数に応じて変換する処理が必要となり、回路規模や製造コストをより増大させる要因となる。逆に、表示処理回路5において画素数(解像度)をダウンコンバートした後の画像信号からエッジ検出を行う方が、エッジ検出回路の回路構成を簡略化でき、回路規模や製造コストをより縮小できる。ただし、カメラ処理回路4内でのエッジ検出結果を利用した場合の方が、例えば撮像画像上の空間周波数の高い領域においてエッジ部分をより正確に(あるいは明瞭に)表示できるなど、エッジ検出や強調表示の精度を向上させることができる。
また、上記の各実施の形態では、エッジ検出レベルに応じて、エッジ部分を置換する色を変化させるようにしたが、その他に例えば、エッジ検出レベルが高いほど、そのエッジの近傍のより広い領域を単一色で置換するようにしてもよい。この場合、エッジ検出レベルが高いほど、エッジ検出フラグのパルス幅を広くするように制御し、対象の画素のみならず、その画素に隣接する複数の画素の信号も同一の色信号で置換するようにする。これにより、合焦度が高いエッジ部分ほど太い線で強調表示され、ユーザがフォーカスの合った被写体をモニタ6を通じて容易に確認できるようになる。
なお、本発明は、固体撮像素子を用いた様々な撮像装置、およびこのような撮像機能を具備する携帯電話機やPDA(Personal Digital Assistants)などの機器の中で、マニュアルフォーカスモードを持つものに対して一般的に適用することができる。
また、上記の実施の形態において、エッジ検出部52、色信号出力部53、および置換処理部54は、専用のハードウェア回路によって構成されるが、これらの処理機能あるいはその一部(例えばエッジ検出部52の機能)を、マイクロコントローラ7でのソフトウェア処理により実行するようにしてもよい。また、その処理を実行するためのプログラムは、例えば、フラッシュメモリなどの可搬型記憶媒体から、あるいはネットワークを通じて撮像装置内に読み込まれるようにしてもよい。
本発明の実施の形態に係る撮像装置の要部構成を示すブロック図である。 エッジ強調モード選択時における表示処理回路内の各種信号を示すタイミングチャートである。 エッジ強調モード選択時におけるモニタの表示画像の例を示す図である。 第1の実施の形態に係るエッジ検出部および色信号出力部の構成を示す図である。 第1の実施の形態に係るエッジ検出部の処理の流れを示すフローチャートである。 第2の実施の形態に係るエッジ検出部および色信号出力部の構成を示す図である。 第2の実施の形態に係るエッジ検出部および色信号出力部の処理の流れを示すフローチャートである。 エッジ強調モード選択時におけるマイクロコントローラの制御処理の流れを示すフローチャートである。
符号の説明
1……光学ブロック、2……撮像素子、3……アナログフロントエンド(AFE)回路、4……カメラ処理回路、5……表示処理回路、6……モニタ、7……マイクロコントローラ、8……入力部、11……フォーカスレンズ、12……モータ、13……モータ制御回路、14……タイミングジェネレータ(TG)、51……解像度変換部、52……エッジ検出部、53……色信号出力部、54……置換処理部

Claims (10)

  1. 固体撮像素子を用いて画像を撮像する撮像装置において、
    ユーザの操作入力に応じてフォーカスレンズの位置を制御するマニュアルフォーカス調整手段と、
    撮像により得られた画像信号から画素ごとにエッジ成分を検出し、その検出レベルを出力するエッジ検出手段と、
    前記検出レベルが所定値以上のとき、前記画像信号上の対応する画素の信号または当該画素を含む所定範囲の画素の信号を所定の色信号に置換する色信号置換手段と、
    前記色信号置換手段の出力画像信号に基づいて画像を表示する表示手段と、
    前記色信号置換手段による色信号の置換動作が無効である状態において、前記マニュアルフォーカス調整手段により前記フォーカスレンズの移動が開始されると、前記色信号置換手段による色信号の置換動作を有効にする置換動作制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記色信号置換手段は、前記検出レベルが所定値以上のとき、当該検出レベルに応じた異なる色信号で置換を行うことを特徴とする請求項1記載の撮像装置。
  3. 前記色信号置換手段は、前記検出レベルが所定値以上のとき、あらかじめ記憶した複数の異なる色信号から前記検出レベルに対応する色信号を選択して置換を行うことを特徴とする請求項2記載の撮像装置。
  4. 前記色信号置換手段は、前記検出レベルが所定値以上のとき、あらかじめ決められた1つの色信号のレベルを前記検出レベルに応じて変化させ、レベル変化後の色信号で置換を行うことを特徴とする請求項2記載の撮像装置。
  5. 前記色信号置換手段は、前記検出レベルが高いほど明るい色の信号で置換を行うことを特徴とする請求項2記載の撮像装置。
  6. 前記色信号置換手段は、前記検出レベルが所定値以上のとき、当該検出レベルに応じて前記画像信号上の色信号の置換範囲を可変することを特徴とする請求項1記載の撮像装置。
  7. 前記置換動作制御手段は、前記マニュアルフォーカス調整手段による前記フォーカスレンズの移動後、当該フォーカスレンズが停止してから一定時間が経過すると、前記色信号置換手段による色信号の置換動作を無効にすることを特徴とする請求項1記載の撮像装置。
  8. 全押し状態で、撮像により得られた画像信号を記録媒体に記録させるための操作入力を受け付け、半押し状態で、前記記録媒体への記録時と略同じ画像補正処理および撮像動作制御処理を実行させるための操作入力を受け付けるシャッタレリーズボタンと、
    前記シャッタレリーズボタンが半押し状態になると、前記色信号置換手段による色信号の置換動作を無効にする置換動作制御手段と、
    をさらに有することを特徴とする請求項1記載の撮像装置。
  9. 撮像により得られた画像信号の解像度を前記表示手段の解像度に変換する解像度変換手段をさらに有し、
    前記エッジ検出手段は、前記解像度変換手段からの出力画像信号からエッジを検出することを特徴とする請求項1記載の撮像装置。
  10. 固体撮像素子による撮像画像を随時表示するモニタと、ユーザの操作入力に応じてフォーカスレンズの位置を制御するマニュアルフォーカス機能とを備えた撮像装置における表示制御方法であって、
    エッジ検出手段が、撮像により得られた画像信号から画素ごとにエッジ成分を検出し、その検出レベルを出力するステップと、
    色信号置換手段が、前記検出レベルが所定値以上のとき、前記画像信号上の対応する画素の信号または当該画素を含む所定範囲の画素の信号を所定の色信号に置換して、前記モニタに出力するステップと、
    置換動作制御手段が、前記色信号置換手段による色信号の置換動作が無効である状態において、ユーザの操作入力に応じて前記フォーカスレンズの移動が開始されると、前記色信号置換手段による色信号の置換動作を有効にするステップと、
    を含むことを特徴とする表示制御方法。
JP2005243585A 2005-08-25 2005-08-25 撮像装置および表示制御方法 Active JP4325599B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2005243585A JP4325599B2 (ja) 2005-08-25 2005-08-25 撮像装置および表示制御方法
US11/509,149 US7889270B2 (en) 2005-08-25 2006-08-24 Image pickup apparatus and display control method
US13/018,531 US8576328B2 (en) 2005-08-25 2011-02-01 Image pickup apparatus and display control method
US14/021,112 US8988589B2 (en) 2005-08-25 2013-09-09 Image pickup apparatus and display control method
US14/616,063 US9554032B2 (en) 2005-08-25 2015-02-06 Image pickup apparatus and display control method
US15/388,721 US10116869B2 (en) 2005-08-25 2016-12-22 Image pickup apparatus and display control method
US16/141,050 US11089203B2 (en) 2005-08-25 2018-09-25 Image pickup apparatus and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005243585A JP4325599B2 (ja) 2005-08-25 2005-08-25 撮像装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2007060328A JP2007060328A (ja) 2007-03-08
JP4325599B2 true JP4325599B2 (ja) 2009-09-02

Family

ID=37829685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005243585A Active JP4325599B2 (ja) 2005-08-25 2005-08-25 撮像装置および表示制御方法

Country Status (2)

Country Link
US (6) US7889270B2 (ja)
JP (1) JP4325599B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325599B2 (ja) 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
US7544919B2 (en) 2006-11-20 2009-06-09 Red.Com, Inc. Focus assist system and method
US9690168B2 (en) 2006-11-20 2017-06-27 Red.Com, Inc. Focus assist system and method
US8335403B2 (en) * 2006-11-27 2012-12-18 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
JP4535114B2 (ja) 2007-10-26 2010-09-01 ソニー株式会社 撮像装置および撮像方法、表示制御装置および表示制御方法、並びに、プログラム
JP5039570B2 (ja) 2008-01-09 2012-10-03 キヤノン株式会社 表示装置、映像表示システム、及び表示方法
JP5025532B2 (ja) * 2008-03-12 2012-09-12 キヤノン株式会社 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
JP5277873B2 (ja) * 2008-11-05 2013-08-28 ソニー株式会社 撮像装置、画像処理装置および画像処理方法
JP5340042B2 (ja) * 2009-06-05 2013-11-13 キヤノン株式会社 撮像装置及びその制御方法
JP5432699B2 (ja) * 2009-12-24 2014-03-05 キヤノン株式会社 撮像装置及びその制御方法並びにプログラム
US8421897B2 (en) 2009-04-08 2013-04-16 Canon Kabushiki Kaisha Image capturing apparatus and control method therefor
JP2011091602A (ja) * 2009-10-22 2011-05-06 Canon Inc 画像表示装置、撮像装置、及び画像表示方法
JP2011119930A (ja) * 2009-12-02 2011-06-16 Seiko Epson Corp 撮像装置、撮像方法および撮像プログラム
DE102010039431A1 (de) * 2010-08-18 2012-02-23 Robert Bosch Gmbh Vorrichtung zur Unterstützung einer Fokussierung einer Kamera
JP5966286B2 (ja) * 2011-09-12 2016-08-10 株式会社ニコン 撮像装置
JP2013070304A (ja) * 2011-09-26 2013-04-18 Ricoh Co Ltd 撮像装置
JP5546692B2 (ja) * 2011-09-30 2014-07-09 富士フイルム株式会社 撮影装置、撮影方法およびプログラム
JP5942444B2 (ja) 2012-01-30 2016-06-29 リコーイメージング株式会社 デジタルカメラ
CN103905804B (zh) * 2012-12-26 2016-03-02 联想(北京)有限公司 一种调整白平衡的方法及电子设备
JP6248412B2 (ja) * 2013-05-13 2017-12-20 ソニー株式会社 撮像装置、撮像方法、プログラム
JP2014230176A (ja) 2013-05-23 2014-12-08 ソニー株式会社 画像信号処理装置、画像信号処理方法、撮像装置および画像表示方法
US9137447B2 (en) * 2013-07-31 2015-09-15 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
JP6443346B2 (ja) * 2014-01-09 2018-12-26 ソニー株式会社 映像信号処理装置、映像信号処理方法およびカメラ装置
US9288379B2 (en) * 2014-03-12 2016-03-15 Omnivision Technologies, Inc. System and method for continuous auto focus within camera module
JP6547739B2 (ja) * 2014-05-02 2019-07-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6305194B2 (ja) * 2014-05-08 2018-04-04 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
CN106488819B (zh) 2014-06-20 2018-06-22 维洛3D公司 用于三维打印的设备、系统和方法
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
JP6492463B2 (ja) * 2014-08-29 2019-04-03 ソニー株式会社 撮像装置
JP6834945B2 (ja) * 2015-04-07 2021-02-24 ソニー株式会社 画像信号処理装置、画像信号処理方法および撮像装置
CN106201238B (zh) * 2015-05-06 2019-11-29 小米科技有限责任公司 展示对焦状态的方法及装置
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックIpマネジメント株式会社 照明装置、照明システム、及びプログラム
US10065270B2 (en) 2015-11-06 2018-09-04 Velo3D, Inc. Three-dimensional printing in real time
US10071422B2 (en) 2015-12-10 2018-09-11 Velo3D, Inc. Skillful three-dimensional printing
US20170239891A1 (en) 2016-02-18 2017-08-24 Velo3D, Inc. Accurate three-dimensional printing
US10286452B2 (en) 2016-06-29 2019-05-14 Velo3D, Inc. Three-dimensional printing and three-dimensional printers
US11691343B2 (en) 2016-06-29 2023-07-04 Velo3D, Inc. Three-dimensional printing and three-dimensional printers
US20180126462A1 (en) 2016-11-07 2018-05-10 Velo3D, Inc. Gas flow in three-dimensional printing
US10611092B2 (en) * 2017-01-05 2020-04-07 Velo3D, Inc. Optics in three-dimensional printing
US10369629B2 (en) 2017-03-02 2019-08-06 Veo3D, Inc. Three-dimensional printing of three-dimensional objects
US20180281283A1 (en) 2017-03-28 2018-10-04 Velo3D, Inc. Material manipulation in three-dimensional printing
CN108513709A (zh) * 2017-08-25 2018-09-07 深圳市大疆创新科技有限公司 手动对焦辅助方法、装置以及无人飞行器
US10272525B1 (en) 2017-12-27 2019-04-30 Velo3D, Inc. Three-dimensional printing systems and methods of their use
CN109274852B (zh) * 2018-09-28 2020-03-27 深圳市盛世生物医疗科技有限公司 一种图像焦距标记点智能选取方法、装置及设备
US11729493B2 (en) * 2019-03-28 2023-08-15 Sony Group Corporation Image capture apparatus and image capture method
CN115997150A (zh) * 2020-08-25 2023-04-21 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法及图像处理程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5103254A (en) * 1990-05-29 1992-04-07 Eastman Kodak Company Camera with subject highlighting and motion detection
JPH0611318A (ja) 1991-09-20 1994-01-21 Tokimec Inc 金型成型品の品質検査方法及びそれを用いた品質検査装置
JPH06113184A (ja) 1992-09-24 1994-04-22 Casio Comput Co Ltd カメラ装置
JP3271327B2 (ja) 1992-09-29 2002-04-02 ソニー株式会社 撮像装置
JP2754457B2 (ja) 1994-05-09 1998-05-20 株式会社ニコン カメラの自動焦点調節装置
JPH0829825A (ja) * 1994-07-18 1996-02-02 Nikon Corp 防振装置
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
JP3489280B2 (ja) 1995-06-30 2004-01-19 ソニー株式会社 撮像装置及びそのピント表示方法
JP2001008085A (ja) 1999-06-24 2001-01-12 Toshiba Corp 撮像装置
JP2002196225A (ja) 2000-12-26 2002-07-12 Nikon Corp ピント状態表示装置、および顕微鏡装置
JP2002209135A (ja) * 2001-01-11 2002-07-26 Minolta Co Ltd デジタル撮像装置および記録媒体
US20030002870A1 (en) * 2001-06-27 2003-01-02 Baron John M. System for and method of auto focus indications
US7030894B2 (en) * 2002-08-07 2006-04-18 Hewlett-Packard Development Company, L.P. Image display system and method
JP4278948B2 (ja) 2002-09-26 2009-06-17 富士フイルム株式会社 カメラ
JP3778163B2 (ja) 2002-12-05 2006-05-24 コニカミノルタフォトイメージング株式会社 撮像装置
JP4533593B2 (ja) 2003-04-09 2010-09-01 富士フイルム株式会社 撮像装置
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法

Also Published As

Publication number Publication date
US20150156403A1 (en) 2015-06-04
US7889270B2 (en) 2011-02-15
US20110122286A1 (en) 2011-05-26
US20190028649A1 (en) 2019-01-24
US20170104937A1 (en) 2017-04-13
US20070052836A1 (en) 2007-03-08
JP2007060328A (ja) 2007-03-08
US8988589B2 (en) 2015-03-24
US8576328B2 (en) 2013-11-05
US20140002716A1 (en) 2014-01-02
US11089203B2 (en) 2021-08-10
US10116869B2 (en) 2018-10-30
US9554032B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
JP4325599B2 (ja) 撮像装置および表示制御方法
WO2013088917A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP2007108412A (ja) オートフォーカス装置及びそのプログラム
JP5380784B2 (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
JP2014222801A5 (ja)
JP2007178576A (ja) 撮像装置及びそのプログラム
US8896742B2 (en) Image pickup apparatus, and control method and program thereof
JP2008054177A (ja) 撮像装置
JP2010054730A (ja) 合焦位置検出装置、撮像装置及び合焦位置検出方法
JP5092673B2 (ja) 撮像装置及びそのプログラム
US7710492B2 (en) Imaging device and imaging method for performing automatic focus detection
JP2010028158A (ja) 撮像装置
JP2010287919A (ja) 撮像装置
JP2007311962A (ja) 電子カメラおよび画像表示プログラム
JPWO2006103880A1 (ja) 撮像装置
JP4665607B2 (ja) カメラ、カメラ制御プログラム及びカメラ制御方法
JP2010062987A (ja) 撮像装置及び方法
WO2011039964A1 (ja) 撮影装置、撮影方法、及びプログラム
JP2010060810A (ja) 撮像装置及び撮像方法
JP2009047942A (ja) オートフォーカス機構、およびその合焦方法
JP2008118263A (ja) 撮影装置および発熱抑制方法
JP2005215495A (ja) 画像撮影装置
JP4801013B2 (ja) 撮影装置
JP2018061153A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2006208487A (ja) 撮像装置及び撮像装置の合焦制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4325599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250