JP4929630B2 - 撮像装置、制御方法、およびプログラム - Google Patents

撮像装置、制御方法、およびプログラム Download PDF

Info

Publication number
JP4929630B2
JP4929630B2 JP2005197086A JP2005197086A JP4929630B2 JP 4929630 B2 JP4929630 B2 JP 4929630B2 JP 2005197086 A JP2005197086 A JP 2005197086A JP 2005197086 A JP2005197086 A JP 2005197086A JP 4929630 B2 JP4929630 B2 JP 4929630B2
Authority
JP
Japan
Prior art keywords
frame
focus
touch
user
focus frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005197086A
Other languages
English (en)
Other versions
JP2007019685A (ja
Inventor
文宣 東野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005197086A priority Critical patent/JP4929630B2/ja
Priority to US11/481,479 priority patent/US7781710B2/en
Priority to CNB200610110888XA priority patent/CN100568927C/zh
Publication of JP2007019685A publication Critical patent/JP2007019685A/ja
Application granted granted Critical
Publication of JP4929630B2 publication Critical patent/JP4929630B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮像装置、制御方法、およびプログラムに関し、特に、操作性を向上させることができるようにする撮像装置、制御方法、およびプログラムに関する。
例えば、ディジタル(スチル)カメラやディジタルビデオカメラなどのカメラは、一般に、いわゆるオートフォーカス機能を有している。
オートフォーカス機能によれば、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどの撮像素子によって撮像された画像の中央に、フォーカスの制御に用いるフォーカス枠が設けられ、例えば、そのフォーカス枠内の画像の高周波成分が最大になるように、つまり、フォーカス枠内のコントラストが最も大になるように、フォーカスが制御される(ピントの調整がされる)。
従来のオートフォーカス機能では、フォーカス枠が、撮像素子によって撮像された画像の中央の位置に固定されていたため、フォーカスを合わせようとしている被写体(の画像)が、フォーカス枠内にない場合や、フォーカス枠内にあっても、フォーカス枠内にある被写体のサイズが、フォーカス枠のサイズに比較して小さすぎる場合には、フォーカスを合わせようとしている被写体にフォーカスが合わないことがある。
そこで、例えば、撮像素子によって撮像された画像を、横×縦が10×10画素の小ブロックに分割し、フォーカス枠とする1以上の小ブロックを指定して、所望の位置に、所望の形状で、所望のサイズのフォーカス枠を設定する方法や、複数のパターンのフォーカス枠を定めておき、その複数のパターンのフォーカス枠の中から、フォーカスの制御に用いるフォーカス枠を、パターン選択ボタンを操作することにより選択し、さらに、必要に応じて、その選択したフォーカス枠の位置や、形状、サイズを、拡大縮小ボタンや十字キー(上下左右ボタン)を操作することにより変更する方法が提案されている(例えば、特許文献1参照)。
しかしながら、フォーカス枠とする1以上の小ブロックを指定して、フォーカス枠を設定するのでは、所望のフォーカス枠が構成されるように、小ブロックを1または複数ずつ指定しなければならず、操作性が優れているとは言い難い。また、フォーカス枠を構成する最小単位が10×10画素の小ブロックであるため、フォーカス枠の位置やサイズは、その小ブロックによって制限され、例えば、フォーカス枠の境界が、小ブロックの境界に一致しない位置に、フォーカス枠を設定することは困難である。さらに、フォーカス枠の移動も、小ブロックの縦や横のサイズである10画素単位でしか行うことができない。
また、フォーカスの制御に用いるフォーカス枠を、パターン選択ボタンを操作することにより選択し、さらに、必要に応じて、その選択したフォーカス枠の位置や、形状、サイズを、拡大縮小ボタンや十字キーを操作することにより変更する方法では、例えば、所望の位置にフォーカス枠を設定するのに、種々の操作が必要となり、やはり、操作性が優れているとは言い難い。
特開平6-113187号公報
本発明は、このような状況に鑑みてなされたものであり、操作性、特に、フォーカス枠の設定の操作性を向上させることができるようにするものである。
本発明の一側面の撮像装置は、画像を撮像する撮像手段と、前記撮像手段において撮像された画像を表示する表示手段と、前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルとを備える撮像装置において、前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御手段と、前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御手段とをさらに備え、前記フォーカス枠制御手段は、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する。
本発明の一側面の制御方法は、画像を撮像する撮像手段と、前記撮像手段において撮像された画像を表示する表示手段と、前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルとを備える撮像装置の制御方法において、前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御ステップと、前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御ステップとを含み、前記フォーカス枠制御ステップでは、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する。
本発明の一側面のプログラムは、画像を撮像する撮像手段と、前記撮像手段において撮像された画像を表示する表示手段と、前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルとを備える撮像装置を制御するコンピュータに実行させるプログラムにおいて、前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御ステップと、前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御ステップとを含み、前記フォーカス枠制御ステップでは、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する処理を、コンピュータに実行させる。
本発明の一側面の撮像装置、制御方法、またはプログラムにおいては、前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠が、ユーザによる前記タッチパネルの操作に応じて制御され、前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスが制御される。そして、ユーザがタッチパネルに表示されているフォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、表示手段に表示された画像上の、そのワンタッチの位置にフォーカス枠が移動され、ユーザがタッチパネルに表示されているフォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、画像に対して設定されるフォーカス枠のサイズが変更される。
本発明の一側面によれば、フォーカス枠の設定の操作性を向上させることができる。
以下に本発明の実施の形態を説明する
以下、図面を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用したディジタルカメラの一実施の形態の外観構成例を示す斜視図である。
なお、図1上側では、正面(被写体に向けられるレンズ面)が手前側になるように、図1下側では、背面(ディジタルカメラのユーザ(操作者)に向けられるパネル面)が手前側になるように、それぞれ、ディジタルカメラが図示されている。
ディジタルカメラの正面(図1上側)の、向かって右側には、レンズ部1が設けられている。レンズ部1は、被写体からの光を集光するレンズやフォーカス(ピント)の調整をするためのフォーカスレンズ、絞り等の光学系その他から構成されており(いずれも図示せず)、ディジタルカメラの電源がオンにされたときに、ディジタルカメラの筐体から露出し、ディジタルカメラの電源がオフにされたときに、ディジタルカメラの筐体内部に収納されるようになっている。図1では、レンズ部1は、ディジタルカメラの筐体内部に収納された状態になっている。
ディジタルカメラの正面の、向かって中央の右上には、AF(Auto Focus)補助光投光部2が設けられている。AF補助光投光部2は、レンズ部1の光学系の光軸方向に向かって、AF補助光としての光を照射することにより、被写体を照明する。これにより、例えば、暗い場所でも、被写体の画像を撮像して、その画像に基づいて、被写体にフォーカス(ピント)を合わせる、いわゆるオートフォーカス機能が働くようになっている。
ディジタルカメラの正面の、向かって中央の左上には、ディジタルカメラの背面側に続くファインダ3が設けられており、ファインダ3の左隣には、ストロボ4が配置されている。
ディジタルカメラの上部の、正面側から見て左側には、電源をオン/オフするときに操作される電源ボタン5と、撮像されている画像を記録するときに操作されるシャッタボタン(レリーズボタン)6とが設けられている。
ディジタルカメラの背面(図1下側)の、向かって右上には、ズームの倍率を調整するときに操作されるズームボタン7が設けられており、ズームボタン7の左側と下側には、それぞれ、モードダイヤル8と操作ボタン9が設けられている。モードダイヤル8は、例えば、ストロボ4の発光を強制的にオン/オフにするモードや、セルフタイマを使用するモード、後述する液晶パネル11にメニュー画面を表示するモード等の、ディジタルカメラのモードを選択するとき等に操作される。操作ボタン9は、例えば、液晶パネル11に表示されたメニュー画面の項目を選択するカーソルを移動させるときや、項目の選択を確定するとき等に操作される。
タッチスクリーン10は、液晶パネル11とタッチパネル12とが一体的になったもので、液晶パネル11によって各種の画像を表示するとともに、タッチパネル12によって、ユーザの操作を受け付けることができる。
次に、図2は、図1のディジタルカメラの内部構成例を示している。
なお、図2では、図1のAF補助光投光部2、ファインダ3、およびストロボ6の図示は、省略してある。
CCD(Charge Coupled Device)21は、タイミングジェネレータ(TG)31から供給されるタイミング信号にしたがって動作することにより、レンズ部1を介して入射する被写体からの光を受光して光電変換を行い、(光の)受光量に応じた電気信号としてのアナログの画像信号を、アナログ信号処理部22に供給する。
アナログ信号処理部22は、CPU(Central Processing Unit)26の制御にしたがい、CCD21からのアナログの画像信号を増幅等するアナログ信号処理を行い、そのアナログ信号処理の結果得られる画像信号を、A/D(Analog/Digital)変換部23に供給する。
A/D変換部23は、CPU26の制御にしたがい、アナログ信号処理部22からのアナログ信号の画像信号をA/D変換し、その結果得られるディジタル信号の画像データを、ディジタル信号処理部24に供給する。
ディジタル信号処理部24は、CPU26の制御にしたがい、A/D変換部23からの画像データに対し、ノイズ除去処理等のディジタル信号処理を施し、液晶パネル11に供給して表示させる。また、ディジタル信号処理部24は、A/D変換部23からの画像データを、例えば、JPEG(Joint Photographic Experts Group)方式等で圧縮し、その結果得られる圧縮画像データを、記録デバイス25に供給して記録させる。さらに、ディジタル信号処理部24は、記録デバイス25に記録された圧縮画像データを伸張し、その結果得られる画像データを液晶パネル11に供給して表示させる。その他、ディジタル信号処理部24は、CPU26の制御にしたがい、フォーカスの制御に用いるAF枠(フォーカス枠)の画像を生成し、液晶パネル11に供給して表示させる。
記録デバイス25は、例えば、DVD(Digital Versatile Disc)等のディスクや、メモリカード等の半導体メモリその他のリムーバブルなリムーバブル記録媒体であり、ディジタルカメラに対して、容易に着脱可能になっている。
CPU26は、プログラムROM(Read Only Memory)29に記録されているプログラムを実行することにより、ディジタルカメラを構成する各部を制御し、また、タッチパネル12からの信号や、操作部27からの信号に応じて、各種の処理を行う。
操作部27は、ユーザによって操作され、その操作に対応した信号を、CPU26に供給する。なお、操作部27は、図1に示した電源スイッチ5や、シャッタボタン6、ズームボタン7、モードダイヤル8に相当する。
EEPROM(Electrically Erasable Programmable ROM)28は、CPU26の制御にしたがい、ディジタルカメラに設定された各種の情報その他の、ディジタルカメラの電源がオフにされたときも保持しておく必要があるデータ等を記憶する。
プログラムROM29は、CPU26が実行するプログラム、さらには、CPU26がプログラムを実行する上で必要なデータを記憶している。RAM(Read Only Memory)30は、CPU26が各種の処理を行う上で必要なプログラムやデータを一時記憶する。
タイミングジェネレータ31は、CPU26の制御にしたがい、タイミング信号を、CCD21に供給する。タイミングジェネレータ31からCCD21に供給されるタイミング信号によって、CCD21における露出時間(シャッタスピード)等が制御される。
モータドライバ32は、CPU26の制御にしたがい、アクチュエータ(モータ)33を駆動する。アクチュエータ33が駆動されることにより、レンズ部1は、ディジタルカメラの筐体から露出し、あるいは、ディジタルカメラの筐体内部に収納される。また、アクチュエータ33が駆動されることにより、レンズ部1を構成する絞りの調整や、レンズ部1を構成するフォーカスレンズの移動が行われる。
以上のように構成されるディジタルカメラにおいては、CCD21が、レンズ部1を介して入射する被写体からの光を受光して光電変換を行い、その結果得られるアナログの画像信号を出力する。CCD21が出力するアナログの画像信号は、アナログ信号処理部22およびA/D変換部23を介することにより、ディジタル信号の画像データとされ、ディジタル信号処理部24に供給される。
ディジタル信号処理部24は、A/D変換部23からの画像データを、液晶パネル11に供給し、これにより、液晶パネル11では、いわゆるスルー画が表示される。
その後、ユーザが、シャッタボタン6(図1)を操作すると、その操作に応じた信号が、操作部27からCPU26に供給される。CPU26は、操作部27から、シャッタボタン6の操作に応じた信号が供給されると、ディジタル信号処理部24を制御し、そのときA/D変換部23からディジタル信号処理部24に供給された画像データを圧縮させ、その結果得られる圧縮画像データを、記録デバイス25に記録させる。
以上のようにして、いわゆる写真撮影が行われる。
なお、CPU26に実行させるプログラムは、あらかじめプログラムROM29にインストール(記憶)させておく他、記録デバイス25に記録しておき、パッケージメディアとしてユーザに提供して、その記録デバイス25から、ディジタル信号処理24およびCPU26を介して、EEPROM28にインストールすることができる。また、CPU26に実行させるプログラムは、ダウンロードサイトから、図2のディジタルカメラに直接ダウンロードし、あるいは、図示せぬコンピュータでダウンロードして、図2のディジタルカメラに供給し、EEPROM28にインストールすることも可能である。
次に、図2のディジタルカメラは、オートフォーカス機能を有しており、このオートフォーカス機能では、CCD21によって撮像された画像上に、AF枠(検波枠)が設定され、そのAF枠の内部の画像に基づいて、フォーカスが制御される(フォーカスレンズが移動される)。
さらに、図2のディジタルカメラのオートフォーカス機能では、AF枠は、液晶パネル11に表示された画像上の任意の位置に設定することができるようになっており、さらに、液晶パネル11と一体的に構成されたタッチパネル12に対する操作だけで、その位置やサイズ等の制御を行うことができるようになっている。
図2のディジタルカメラにおいて、オートフォーカス機能に関するAF処理は、CPU26がプログラムを実行することにより行う。
そこで、図3は、AF処理を行うAF処理部50の機能的構成例を示している。なお、AF処理部50は、CPU26がプログラムを実行することにより、いわば仮想的に実現される。
AF処理部50は、タッチ検出部51、AF枠制御部52、およびAF制御部53から構成される。
タッチ検出部51には、タッチスクリーン10のタッチパネル12から信号が供給されるようになっている。タッチ検出部51は、タッチスクリーン10(のタッチパネル12)から信号に基づき、タッチスクリーン10(のタッチパネル12)に対するユーザの操作の内容等を検出し、その操作の内容等を表す操作情報を、AF枠制御部52に供給する。
AF枠制御部52は、タッチスクリーン10の液晶パネル11に表示された画像上の任意の位置に設定されるAF枠を、タッチ検出部51からの操作情報に応じて制御し、そのAF枠の情報(以下、適宜、AF枠情報という)を、ディジタル信号処理部24(図2)とAF制御部53に供給する。
ここで、ディジタル信号処理部24(図2)は、AF枠制御部52からAF枠情報の供給を受けると、そのAF枠情報が表すAF枠(の画像)を生成する。さらに、ディジタル信号処理部24は、AF枠(の画像)を、A/D変換部から供給される、CCD21で撮像された画像データに重畳し、タッチスクリーン10(の液晶パネル11)に供給して表示させる。従って、タッチスクリーン10(の液晶パネル11)では、AF枠が、CCD21で撮像された画像とともに表示される。
その結果、ユーザは、タッチスクリーン10の表示を見るだけで、CCD21で撮像された画像のどの部分にAF枠が設定されているかを、容易に認識することができる。
なお、AF枠制御部52は、ステータスフラグ、ヒストリフラグ、およびカウンタを内蔵しており、本実施の形態では、これらのステータスフラグ、ヒストリフラグ、およびカウンタを利用して、AF枠の制御を行う。
AF制御部53には、AF枠制御部52からAF枠情報が供給される他、ディジタル信号処理部24(図1)から、CCD21で撮像された画像データが供給されるようになっている。AF制御部53は、ディジタル信号処理部24からの画像データのうちの、AF枠制御部52からのAF枠情報によって特定されるAF枠の内部の画像データに基づいて、フォーカスを制御するフォーカス制御信号を生成し、モータドライバ32(図1)に供給する。
即ち、AF制御部53は、ディジタル信号処理部24からの画像データのうちの、AF枠の内部の画像データの高周波成分がより大きくなる方向に、レンズ部1のフォーカスレンズを移動するフォーカス制御信号を生成し、モータドライバ32に供給する。
ここで、モータドライバ32は、AF制御部53からのフォーカス制御信号にしたがい、アクチュエータ33を駆動し、これにより、フォーカスレンズが、AF枠の内部の画像データの高周波成分がより大きくなる方向に移動される。
次に、図4乃至図6を参照して、図3のAF処理部50のAF制御部52によるAF枠の制御について説明する。
AF枠制御部52は、例えば、ディジタルカメラの電源がオンにされると、タッチスクリーン10(の液晶パネル11)に表示された画像の重心等を、デフォルトの位置として、デフォルトのサイズのAF枠を、タッチスクリーン10に表示させる。即ち、AF枠制御部52は、AF枠のデフォルトの位置と、デフォルトのサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10(の液晶パネル11)に供給する。これにより、タッチスクリーン10では、デフォルトの位置に、デフォルトのサイズのAF枠が表示される。なお、電源がオンされた直後のAF枠としては、その他、例えば、直前の電源オフ時に表示されていたのと同一のAF枠を採用することが可能である。
図4は、デフォルトのサイズのAF枠が、タッチスクリーン10のデフォルトの位置に表示された状態を示している。
AF枠は、例えば、横長の長方形状をしており、その重心位置が、デフォルトの位置に一致するように、かつ、デフォルトのサイズで表示されている。
その後、ユーザが、タッチスクリーン10(のタッチパネル12)のある位置にタッチをした場合、即ち、タッチスクリーン10のある位置に触れて離すワンタッチをした場合、AF枠制御部52は、図4に点線で示すように、ユーザがワンタッチをした位置に、AF枠を瞬時に移動する。
即ち、ユーザが、タッチスクリーン10のある位置にワンタッチをすると、ユーザがワンタッチをした位置を含む操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチ検出部51からの操作情報に含まれる位置(ユーザがワンタッチをした位置)と、現在のAF枠のサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。これにより、タッチスクリーン10では、図4に点線で示すように、ユーザがワンタッチをした位置に、サイズを維持したままのAF枠が表示される。この場合、AF枠は、ユーザがワンタッチをした位置に、瞬時に移動することになる。
また、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置の移動をした場合、AF枠制御部52は、ユーザのタッチの位置の移動にしたがって、AF枠を移動する。
即ち、図5は、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置の移動をした場合に、AF枠が移動する様子を示している。
ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置の移動をすると、その移動後の位置を含む操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチ検出部51からの操作情報に含まれる位置と、現在のAF枠のサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。
上述の、タッチ検出部51からAF枠制御部52への、ユーザのタッチの位置の移動後の位置(タッチの位置)を含む操作情報の供給、AF枠制御部52からディジタル信号処理部24へのAF枠情報の供給、および、ディジタル信号処理部24からタッチスクリーン10へのAF枠の画像の供給は、ユーザのタッチの位置の移動が終了するまで繰り返し行われ、その結果、タッチスクリーン10では、図5に示すように、ユーザによるタッチの位置の移動にしたがって移動する、サイズを維持したままのAF枠が表示される。
その後、ユーザが、例えば、タッチスクリーン10へのタッチをやめると、タッチ検出部51からAF枠制御部52への操作情報の供給が停止され、タッチスクリーン10では、AF枠が、ユーザがタッチをやめた位置に表示される。
従って、図2のディジタルカメラにおいては、AF枠は、タッチスクリーン10(の液晶パネル11)に表示された画像上の任意の位置に設定することができる。
即ち、AF枠は、操作情報に含まれる位置に、例えば、長方形状のAF枠の重心位置が一致するように表示されるので、AF枠を、タッチスクリーン10に表示された画像上の任意の位置に設定することができる。
その結果、例えば、撮像素子によって撮像された画像を小ブロックに分割し、AF枠とする1以上の小ブロックを指定して、ある位置にAF枠を設定する、前述の特許文献1に記載の方法のように、AF枠の位置が、小ブロックによって制限されることがない。
即ち、特許文献1に記載の方法によれば、前述したように、AF枠が小ブロック単位で設定されるので、AF枠の境界が、小ブロックの境界に一致しない位置に、AF枠を設定することは困難である。これに対して、図2のディジタルカメラでは、AF枠は、その重心位置が操作情報に含まれる位置に一致するように設定されるので、タッチスクリーン10のタッチパネル12の位置の検出の精度の範囲内において、いわば無段階に滑らかな位置に、AF枠を設定することができる。その結果、AF枠の移動も、いわば無段階に滑らかにすることができる。
なお、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置の移動をした場合においては、AF枠は、タッチの位置の移動の軌跡に沿って、その軌跡上の各位置にAF枠の重心位置が一致するように移動させることもできるし、現在地から、タッチの位置の移動の軌跡に、いわば平行に移動させることもできる。
ここで、AF枠が、タッチの位置の移動の軌跡に沿って、その軌跡上の各位置にAF枠の重心位置が一致するように移動する場合には、AF枠は、タッチスクリーン10におけるユーザのタッチの位置に追従するように移動することになる。一方、AF枠が、現在地から、タッチの位置の移動の軌跡に平行に移動する場合には、ユーザが、タッチスクリーン10上の任意の位置にタッチして、タッチの位置を移動すると、AF枠は、現在地から、タッチの位置の移動の軌跡を描くように移動することになる。
即ち、例えば、いま、ユーザが、指で、タッチスクリーン10にタッチして、タッチの位置を移動することとすると、AF枠が、タッチの位置の移動の軌跡に沿って、その軌跡上の各位置にAF枠の重心位置が一致するように移動する場合には、AF枠は、タッチスクリーン10にタッチしているユーザの指に、いわばくっついていくように移動する。また、AF枠が、現在地から、タッチの位置の移動の軌跡に平行に移動する場合には、ユーザが、タッチスクリーン10の、AF枠が表示されている部分以外の部分を指でなぞると、AF枠は、タッチスクリーン10にタッチしているユーザの指とは離れた状態で、その指が描く軌跡と同一の軌跡を描くように移動する。
以上のように、ユーザは、タッチスクリーン10(のタッチパネル12)にワンタッチをするだけ、あるいは、タッチスクリーン10にタッチした状態で、タッチの位置を移動するだけで、AF枠を、タッチスクリーン10(の液晶パネル11)に表示された画像上の任意の位置に設定することができるので、AF枠の設定の操作性を向上させることができる。
上述のように、ユーザは、タッチスクリーン10にタッチをすることにより、AF枠の位置を移動させることができるが、その他、AF枠のサイズを変更することもできる。
即ち、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を所定時間だけ移動しなかった場合、AF枠制御部52は、AF枠のサイズを変更する。
具体的には、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を移動しないと、タッチの位置が変化しない操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチの位置が変化しない操作情報が、タッチ検出部51から所定回数だけ連続して供給された場合、AF枠の現在地と、現在のAF枠のサイズと異なるサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。
AF枠制御部52は、タッチの位置が変化しない操作情報が、タッチ検出部51から所定回数だけ連続して供給されるごとに、AF枠の現在地と、現在のAF枠のサイズと異なるサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。従って、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を移動しないと、タッチ位置検出部51からAF枠制御部52に対して、タッチの位置が変化しない操作情報が所定回数だけ連続して供給されるのに要する所定の時間が経過するごとに、AF枠制御部52は、AF枠の現在地と、現在のAF枠のサイズと異なるサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。
その結果、タッチスクリーン10では、所定の時間が経過するごとに、サイズが変更されたAF枠が表示される。
その後、ユーザが、例えば、タッチスクリーン10へのタッチをやめると、タッチ検出部51からAF枠制御部52への操作情報の供給が停止され、タッチスクリーン10では、ユーザがタッチスクリーン10へのタッチをやめたときのサイズのAF枠が表示される。
従って、ユーザは、タッチスクリーン10(のタッチパネル12)にタッチし続けるだけで、AF枠のサイズを変更することができる。即ち、AF枠のサイズの変更するにあたり、例えば、前述の特許文献1に記載の方法のように、パターン選択ボタンを操作し、さらに、拡大縮小ボタンや十字キーを操作するような、種々の操作を行う必要がない。
ここで、図6は、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を移動しない場合の、AF枠のサイズの変化のさせ方の例を示している。
なお、図6では、AF枠のサイズとして、大、中、小の3種類が用意されている。
図6上から1番目では、サイズが中のAF枠を、デフォルトのAF枠(電源がオンにされたときに表示されるAF枠)として、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を移動しない状態(以下、適宜、無移動状態という)が所定の時間だけ続くと、AF枠のサイズは、中から小に変更される。さらに、無移動状態が所定の時間だけ続くと、AF枠のサイズは、小から中に変更される。以下、無移動状態が所定の時間だけ続くごとに、AF枠のサイズは、順次、大、中、小、中、・・・のように周期的に変更される。
図6上から2番目では、サイズが中のAF枠を、デフォルトのAF枠として、無移動状態が所定の時間だけ続くと、AF枠のサイズは、中から大に変更される。さらに、無移動状態が所定の時間だけ続くと、AF枠のサイズは、大から中に変更される。以下、無移動状態が所定の時間だけ続くごとに、AF枠のサイズは、順次、小、中、大、中、・・・のように周期的に変更される。
図6上から3番目では、サイズが小のAF枠を、デフォルトのAF枠として、無移動状態が所定の時間だけ続くと、AF枠のサイズは、小から中に変更される。さらに、無移動状態が所定の時間だけ続くと、AF枠のサイズは、中から大に変更される。以下、無移動状態が所定の時間だけ続くごとに、AF枠のサイズは、順次、小、中、大、小、・・・のように周期的に変更される。
図6上から4番目(一番下)では、サイズが大のAF枠を、デフォルトのAF枠として、無移動状態が所定の時間だけ続くと、AF枠のサイズは、大から中に変更される。さらに、無移動状態が所定の時間だけ続くと、AF枠のサイズは、中から小に変更される。以下、無移動状態が所定の時間だけ続くごとに、AF枠のサイズは、順次、大、中、小、大、・・・のように周期的に変更される。
なお、図6では、AF枠のサイズを、3種類のサイズに周期的に変更するようにしたが、AF枠のサイズは、その他、例えば、2種類や、4種類以上のサイズに周期的に変更することが可能である。
また、AF枠のサイズの変更のパターンは、図6に示したパターンに限定されるものではない。
さらに、AF枠のサイズについては、無移動状態が所定の時間だけ続いた場合に、サイズの変更を開始し、時間の経過とともに、サイズを、所定の最大サイズまで徐々に大に変更していき、最大サイズになったら、サイズを、所定の最小サイズにまで徐々に小に変更し、最小サイズになったら、再び、サイズを大に変更することを繰り返すようにしても良い。この場合、無移動状態が解除されたときに、即ち、ユーザがタッチスクリーン10へのタッチをやめたときに、サイズの変更が停止される。
また、AF枠のサイズの変更は、例えば、ユーザが、タッチスクリーン10にワンタッチをするごとに行うことも可能である。
さらに、上述したAF枠の移動やサイズの変更を行うための操作は、いずれか1つのみを採用する他、いわば矛盾が生じない範囲で、重複して(同時に)採用することができる。
即ち、例えば、第1の操作としての、ユーザがタッチスクリーン10にワンタッチをした場合に、ワンタッチがされた位置に、AF枠を移動すること(図4)と、他の第1の操作としての、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動した場合に、そのタッチの位置に追従するように、AF枠を移動すること(図5)とは、同時に採用することができる。この場合、ユーザが、ユーザがタッチスクリーン10にタッチし、その後、ユーザがタッチスクリーン10にタッチしたまま、タッチの位置を移動すると、AF枠は、まず、ユーザがタッチをした位置に瞬時に移動し、その後、タッチの位置の移動に追従して移動することになる。
また、例えば、第1の操作としての、ユーザがタッチスクリーン10にワンタッチをした場合に、ワンタッチがされた位置に、AF枠を移動すること(図4)と、他の第1の操作としての、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動した場合に、そのタッチの位置に追従するように、AF枠を移動すること(図5)とのうちのいずれか一方、または両方と、第2の操作としての、ユーザが、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動しない状態(無移動状態)が所定の時間だけ続いた場合に、AF枠のサイズを変更することとも、同時に採用することができる。この場合、ユーザが、ユーザがタッチスクリーン10にワンタッチしたり、あるいは、ユーザがタッチスクリーン10にタッチしたまま、タッチの位置を移動すると、AF枠は移動し、ユーザが、ユーザがタッチスクリーン10にタッチしたまま、タッチの位置を移動しない状態(無移動状態)が続くと、AF枠のサイズが変更されることになる。
さらに、例えば、第1の操作としての、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動した場合に、そのタッチの位置に追従するように、AF枠を移動すること(図5)と、第2の操作としての、ユーザが、タッチスクリーン10にワンタッチをするごとに、AF枠のサイズを変更することとも、同時に採用することができる。この場合、ユーザがタッチスクリーン10にタッチしたまま、タッチの位置を移動すると、AF枠は移動し、ユーザがタッチスクリーンにワンタッチをすると、AF枠のサイズが変更されることになる。
その他、例えば、ユーザが、タッチスクリーン10上の、AF枠が表示されている部分以外の部分にワンタッチした場合には、そのワンタッチの位置に、AF枠を移動し、ユーザが、ユーザがタッチスクリーン10上の、AF枠が表示されている部分にワンタッチした場合には、AF枠のサイズを変更すること等も可能である。
次に、図3のAF処理部50が行うAF処理について説明する。AF処理には、AF枠制御部52が行うAF枠制御処理と、AF制御部53が行うAF制御処理とがある。
まず、図7のフローチャートを参照して、図3のAF枠制御部52が行うAF枠制御処理について説明する。
なお、AF枠制御処理は、周期的に実行される。即ち、AF枠制御処理は、終了すると、例えば、即座に、最初から再開される。
AF枠制御処理では、まず最初に、ステップS11において、AF枠制御部52は、タッチ検出部51から供給される操作情報に基づき、ユーザが、タッチスクリーン10にタッチをしたかどうかを判定する。
ステップS11において、ユーザが、タッチスクリーン10にタッチをしていないと判定された場合、即ち、例えば、タッチ検出部51からAF枠制御部52に供給された操作情報に、タッチスクリーン10へのタッチの位置が含まれていない場合、ステップS12に進み、AF枠制御部52は、ユーザが、タッチスクリーン10にタッチをしているか(タッチをしたか)どうかを表すステータスフラグに、ユーザが、タッチスクリーン10にタッチをしていないことを表す0をセットし、ステップS13に進む。ステップS13では、AF枠制御部52は、ユーザがタッチスクリーン10に連続してタッチをしている時間をカウントするためのカウンタのカウント値を0にクリアして、ステップS22に進む。
ステップS22では、AF枠制御部52は、前回のAF枠制御処理時に、ユーザが、タッチスクリーン10にタッチをしていたかどうかを表すヒストリフラグに、ステータスフラグにセットされている値をセットして、AF枠制御処理を終了する。なお、いまの場合、ステータスフラグには、ステップS12で0がセットされているので、ステータスフラグにも0がセットされることになる。
ここで、ヒストリフラグには、0または1のうちのいずれかがセットされる。ヒストリフラグに0がセットされている場合、前回のAF枠制御処理時に、ユーザが、タッチスクリーン10にタッチをしていなかったことを表し、ヒストリフラグに1がセットされている場合、前回のAF枠制御処理時に、ユーザが、タッチスクリーン10にタッチをしていたことを表す。
一方、ステップS11において、ユーザが、タッチスクリーン10にタッチをしたと判定された場合、即ち、例えば、タッチ検出部51からAF枠制御部52に供給された操作情報に、タッチスクリーン10へのタッチの位置が含まれている場合、ステップS14に進み、AF枠制御部52は、ステータスフラグに、ユーザが、タッチスクリーン10にタッチをしたことを表す1をセットし、ステップS15に進む。
ステップS15では、AF枠制御部52は、ヒストリフラグが0であるかどうかを判定する。ステップS15において、ヒストリフラグが0であると判定された場合、即ち、前回のAF枠制御処理時には、ユーザが、タッチスクリーン10にタッチをしていなかったが、今回のAF枠制御処理時に、ユーザが、タッチスクリーン10にタッチをした場合、ステップS16に進み、AF枠制御部52は、ユーザがタッチをした位置に、AF枠を移動する。
即ち、ユーザが、タッチスクリーン10のある位置にタッチをすると、ユーザがタッチをした位置を含む操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチ検出部51からの操作情報に含まれる位置と、現在のAF枠のサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。これにより、タッチスクリーン10では、図4に示したように、ユーザがタッチをした位置に、サイズを維持したままのAF枠が表示される。
その後、ステップS16からステップS22に進み、AF枠制御部52は、ヒストリフラグに、ステータスフラグにセットされている値をセットして、AF枠制御処理を終了する。なお、いまの場合、ステータスフラグには、ステップS14で1がセットされているので、ステータスフラグにも1がセットされることになる。
一方、ステップS15において、ヒストリフラグが1であると判定された場合、即ち、前回のAF枠制御処理時に、ユーザは、タッチスクリーン10にタッチをしており、そのまま続けて今回のAF枠制御処理時にも、ユーザが、タッチスクリーン10にタッチをしている場合、ステップS17に進み、ユーザのタッチの位置が、前回のAF枠制御処理時のタッチの位置と同一であるかどうかを判定する。
ステップS17において、ユーザのタッチの位置が、前回のAF枠制御処理時のタッチの位置と同一でないと判定された場合、即ち、ユーザがタッチスクリーン10にタッチをしながら、タッチの位置を移動しており、その結果、ユーザの現在のタッチの位置が、前回のAF枠制御処理時のタッチの位置から変化している場合、ステップS16に進み、上述したように、AF枠制御部52は、ユーザの現在のタッチの位置に、AF枠を移動する。
即ち、ユーザがタッチスクリーン10のタッチをしていると、ユーザがタッチをした位置を含む操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチ検出部51からの操作情報に含まれる位置と、現在のAF枠のサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。これにより、タッチスクリーン10では、図5に示したように、ユーザがタッチをしている位置に追従するように移動する、サイズを維持したままのAF枠が表示される。
その後、ステップS16からステップS22に進み、上述したように、AF枠制御部52は、ヒストリフラグに、ステータスフラグにセットされている値をセットして、AF枠制御処理を終了する。なお、いまの場合、ステータスフラグには、ステップS14で1がセットされているので、ステータスフラグにも1がセットされることになる。
一方、ステップS17において、ユーザのタッチの位置が、前回のAF枠制御処理時のタッチの位置と同一であると判定された場合、即ち、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動しておらず、その結果、ユーザの現在のタッチの位置が、前回のAF枠制御処理時のタッチの位置から変化していない場合、ステップS18に進み、AF枠制御部52は、内蔵するカウンタのカウント値が、所定の時間に対応する所定の値より大(または、以上)であるかどうかを判定する。
ステップS18において、カウンタのカウント値が所定の値より大でないと判定された場合、即ち、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動していない状態(無移動状態)が、所定の時間を越える時間だけ継続していない場合、ステップS19に進み、AF枠制御部52は、カウンタのカウント値を1だけインクリメントして、ステップS22に進み、上述したように、AF枠制御部52は、ヒストリフラグに、ステータスフラグにセットされている値をセットして、AF枠制御処理を終了する。なお、いまの場合、ステータスフラグには、ステップS14で1がセットされているので、ステータスフラグにも1がセットされることになる。
また、ステップS18において、カウンタのカウント値が所定の値より大であると判定された場合、即ち、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動していない状態(無移動状態)が、所定の時間を越える時間だけ継続した場合、ステップS20に進み、AF枠制御部52は、AF枠のサイズを変更する。
即ち、ユーザが、タッチスクリーン10にタッチをしたまま、タッチの位置を移動しないと、タッチの位置が変化しない操作情報が、タッチ検出部51からAF枠制御部52に供給される。AF枠制御部52は、タッチ検出部51からの操作情報に含まれるタッチの位置と、現在のAF枠のサイズと異なるサイズとを含むAF枠情報を、ディジタル信号処理部24に供給する。ディジタル信号処理部24は、AF枠制御部52からのAF枠情報にしたがい、AF枠の画像を生成し、タッチスクリーン10に供給する。これにより、タッチスクリーン10では、図6に示したように、位置を維持したままで、サイズが変更されたAF枠が表示される。
ステップS20の処理後は、ステップS21に進み、AF枠制御部52は、カウンタのカウント値を0にクリアして、ステップS22に進む。
ステップS22では、上述したように、AF枠制御部52は、ヒストリフラグに、ステータスフラグにセットされている値をセットして、AF枠制御処理を終了する。なお、いまの場合、ステータスフラグには、ステップS14で1がセットされているので、ステータスフラグにも1がセットされることになる。
図7のAF枠制御処理によれば、図4で説明したように、ユーザがタッチスクリーン10にワンタッチをした場合には、ステップS11,S14,S15,S16の順で処理が行われ、その結果、ステップS16において、ワンタッチがされた位置に、AF枠が移動される。
さらに、ユーザがタッチスクリーン10にタッチをし、その後、タッチの位置を移動した場合には、ユーザがタッチスクリーン10にタッチをしたときに、ステップS11,S14,S15,S16の順で処理が行われ、その結果、ステップS16において、ユーザがタッチをした位置に、AF枠が移動される。そして、その後のタッチの移動に応じて、ステップS11,S14,S15,S17,S16の順で処理が行われ、その結果、図5で説明したように、ステップS16において、タッチの位置に追従するように、AF枠が移動される。
一方、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動しない場合には、ステップS11,S14,S15,S17,S18の順で処理が行われ、さらに、所定の時間が経過するごとに、ステップS20の処理が行われる。その結果、ユーザがタッチスクリーン10にタッチをしたまま、タッチの位置を移動しない状態(無移動状態)が所定の時間だけ続くごとに、図6で説明したように、AF枠のサイズが変更される。
従って、ユーザは、タッチスクリーン10にワンタッチをし、あるいは、タッチスクリーン10にタッチをしたまま、タッチの位置を移動するだけで、AF枠を任意の位置に移動することができる。さらに、ユーザは、タッチの位置を動かさずにタッチスクリーン10にタッチをしたままにするだけで、AF枠のサイズを変更することができる。従って、AF枠の設定の操作性を向上させることができる。
次に、図8のフローチャートを参照して、図3のAF制御部53が行うAF制御処理について説明する。
なお、図8のAF制御処理も、例えば、図7のAF枠制御処理と同様に、周期的に実行される。即ち、AF制御処理は、終了すると、例えば、即座に、最初から再開される。
AF制御処理では、まず最初に、ステップS1において、AF制御部53は、ディジタル信号処理部24から供給される、CCD21で撮像された画像データのうちの、AF枠制御部52が出力するAF枠情報によって特定されるAF枠の内部の画像データ(以下、適宜、AF枠画像データという)を抽出して、ステップS2に進み、AF制御部53は、AF枠画像データの高周波数成分などの、コントラストを表すコントラスト情報を算出する。
そして、ステップS2からS3に進み、AF制御部53は、コントラスト情報に基づいて、図2のディジタルカメラのフォーカスを制御して、即ち、コントラスト情報に基づいて、フォーカスを制御するフォーカス制御信号を生成し、モータドライバ32(図1)に供給して、AF制御処理を終了する。
ここで、モータドライバ32は、AF制御部53からのフォーカス制御信号にしたがい、アクチュエータ33を駆動し、これにより、レンズ部1のフォーカスレンズが、AF枠画像データの高周波成分がより大きくなる方向に移動される。
なお、本実施の形態では、CPU26にプログラムを実行させることで、AF処理を行うようにしたが、AF処理は、その他、専用のハードウェアによって行うことも可能である。
さらに、CPU26に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
さらに、図2の実施の形態では、被写体からの光を受光して光電変換する光電変換素子として、CCDを採用したが、光電変換素子としては、その他、例えば、CMOSイメージャなどを採用することが可能である。
また、ユーザによるタッチスクリーン10(タッチパネル12)の操作は、ユーザがユーザ自身の指で行っても良いし、タッチ用のペン等を用いて行っても良い。
さらに、例えば、図5においては、AF枠の重心位置が、ユーザのタッチの位置に一致するように、AF枠を移動するようにしたが、AF枠は、その他、例えば、長方形状のAF枠の左上の頂点が、ユーザのタッチの位置に一致するように移動すること等が可能である。
また、本実施の形態では、ユーザによるタッチスクリーン10へのタッチに応じて、AF枠の位置の移動、またはAF枠のサイズの変更を行うようにしたが、AF枠の位置の移動やAF枠のサイズの変更の他、AF枠の形状の変更を行うようにすることも可能である。即ち、例えば、ユーザが、長方形状のAF枠の辺や頂点の位置にタッチをして、タッチの位置を移動した場合には、その移動に応じて、AF枠の位置を移動するのではなく、AF枠の形状を変更することが可能である。つまり、ユーザが、AF枠の辺や頂点の位置以外にタッチをして、タッチの位置を移動した場合には、その移動に応じて、AF枠の位置を移動し、AF枠の辺や頂点の位置にタッチをして、タッチの位置を移動した場合には、その移動に応じて、AF枠の形状を変更することが可能である。
さらに、本実施の形態では、フォーカスの制御に用いられるAF枠を、ユーザによるタッチスクリーン10の操作に応じて制御するようにしたが、その他、例えば、露出の制御に用いる画像の範囲を画定する枠(AE(Auto Exposure)枠)を、ユーザによるタッチスクリーン10の操作に応じて制御することも可能である。
また、上述のようなタッチスクリーン10の操作に応じて、ディジタルカメラのモードを変更することも可能である。
さらに、AF処理は、ディジタルカメラ等において静止画を撮像する場合の他、ビデオカメラ等において動画を撮像する場合にも適用することができる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用したディジタルカメラの一実施の形態の外観構成例を示す斜視図である。 本発明を適用したディジタルカメラの一実施の形態の内部構成例を示すブロック図である。 AF処理部50の機能的構成例を示すブロック図である。 AF枠の移動の様子を示す図である。 AF枠の移動の様子を示す図である。 AF枠のサイズの変更の様子を示す図である。 AF枠制御処理を説明するフローチャートである。 AF制御処理を説明するフローチャートである。
符号の説明
1 レンズ部, 2 AF補助光投光部, 3 ファインダ, 4 ストロボ, 5 電源スイッチ, 6 シャッタボタン, 7 ズームボタン, 8 モードダイヤル, 9 操作ボタン, 10 タッチスクリーン, 11 液晶パネル, 12 タッチパネル, 21 CCD, 22 アナログ信号処理部, 23 A/D変換部, 24 ディジタル信号処理部, 25 記録デバイス, 26 CPU, 27 操作部, 28 EEPROM, 29 プログラムROM, 30 RAM, 31 タイミングジェネレータ, 32 モータドライバ, 33 アクチュエータ, 50 AF処理部, 51 タッチ検出部, 52 AF枠制御部, 53 AF制御部

Claims (9)

  1. 画像を撮像する撮像手段と、
    前記撮像手段において撮像された画像を表示する表示手段と、
    前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルと
    を備える撮像装置において、
    前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御手段と、
    前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御手段と
    をさらに備え、
    前記フォーカス枠制御手段は、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する
    撮像装置。
  2. 前記フォーカス枠制御手段は、ユーザが前記タッチパネルにタッチをしたまま、タッチの位置の移動をした場合、そのタッチの位置の移動にしたがって、前記フォーカス枠を移動する
    請求項1に記載の撮像装置。
  3. 前記フォーカス枠制御手段は、ユーザが前記タッチパネルにタッチをしたまま、タッチの位置を移動しない状態が所定時間継続するごとに、前記フォーカス枠のサイズを変更する
    請求項1に記載の撮像装置。
  4. 前記フォーカス枠制御手段は、
    ユーザが、前記タッチパネルにタッチをしたまま、タッチの位置の移動をする操作に応じて、前記フォーカス枠を移動し、
    ユーザが、前記タッチパネルのタッチの位置を移動せずにタッチし続ける操作に応じて、前記フォーカス枠のサイズを変更する
    請求項1に記載の撮像装置。
  5. 前記フォーカス枠制御手段は、前記フォーカス枠をタッチの位置の移動の軌跡に平行に移動させる場合、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分をタッチをしたまま、タッチの位置の移動をしたとき、ユーザによるタッチの位置とは離れた状態で、そのタッチの位置が描く軌跡に平行に同一の軌跡を描くように、現在の表示位置から前記フォーカス枠を移動する
    請求項1に記載の撮像装置。
  6. 前記フォーカス枠制御手段は、ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分をタッチしたまま移動しない状態が継続している間、前記フォーカス枠のサイズを周期的に変更する
    請求項1に記載の撮像装置。
  7. 前記フォーカス枠制御手段は、前記フォーカス枠のサイズが大きくなる順で、または、前記フォーカス枠のサイズが小さくなる順で、前記フォーカス枠のサイズを周期的に変更する
    請求項6に記載の撮像装置。
  8. 画像を撮像する撮像手段と、
    前記撮像手段において撮像された画像を表示する表示手段と、
    前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルと
    を備える撮像装置の制御方法において、
    前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御ステップと、
    前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御ステップと
    を含み、
    前記フォーカス枠制御ステップでは、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する
    制御方法。
  9. 画像を撮像する撮像手段と、
    前記撮像手段において撮像された画像を表示する表示手段と、
    前記表示手段と一体的に構成され、ユーザによって操作されるタッチパネルと
    を備える撮像装置を制御するコンピュータに実行させるプログラムにおいて、
    前記表示手段に表示された画像上の任意の位置に設定される、フォーカスの制御に用いるフォーカス枠を、ユーザによる前記タッチパネルの操作に応じて制御するフォーカス枠制御ステップと、
    前記表示手段に表示された画像のうちの、前記フォーカス枠に対応する画像に基づいて、フォーカスを制御するフォーカス制御ステップと
    を含み、
    前記フォーカス枠制御ステップでは、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分以外の部分を触れて離すワンタッチした場合には、前記表示手段に表示された画像上の、そのワンタッチの位置に前記フォーカス枠を移動し、
    ユーザが前記タッチパネルに表示されている前記フォーカス枠の表示部分に触れて離すワンタッチした場合には、そのワンタッチをするごとに枠の中心位置を維持したまま、前記画像に対して設定される前記フォーカス枠のサイズを変更する
    処理を、コンピュータに実行させるプログラム。
JP2005197086A 2005-07-06 2005-07-06 撮像装置、制御方法、およびプログラム Expired - Fee Related JP4929630B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005197086A JP4929630B2 (ja) 2005-07-06 2005-07-06 撮像装置、制御方法、およびプログラム
US11/481,479 US7781710B2 (en) 2005-07-06 2006-07-06 Image pickup apparatus, control method, and program with autofocus selection
CNB200610110888XA CN100568927C (zh) 2005-07-06 2006-07-06 图像拾取装置,控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005197086A JP4929630B2 (ja) 2005-07-06 2005-07-06 撮像装置、制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2007019685A JP2007019685A (ja) 2007-01-25
JP4929630B2 true JP4929630B2 (ja) 2012-05-09

Family

ID=37598023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005197086A Expired - Fee Related JP4929630B2 (ja) 2005-07-06 2005-07-06 撮像装置、制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US7781710B2 (ja)
JP (1) JP4929630B2 (ja)
CN (1) CN100568927C (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10021291B2 (en) * 2006-11-16 2018-07-10 Samsung Electronics Co., Ltd Portable device enabling a user to manually adjust locations of focusing and photometry and method for taking images
KR100896711B1 (ko) * 2007-02-08 2009-05-11 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기의 탭을 통한 기능 실행방법
KR100820275B1 (ko) * 2007-04-30 2008-04-08 삼성전자주식회사 분할 촬영 방법 및 이를 이용하는 이동통신 단말기
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム
US8497928B2 (en) 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
KR100860994B1 (ko) * 2007-07-31 2008-09-30 삼성전자주식회사 피사체 중심의 촬영 제어 방법 및 방법
FR2925705A1 (fr) * 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
JP4530067B2 (ja) * 2008-03-27 2010-08-25 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8259208B2 (en) * 2008-04-15 2012-09-04 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
CN101360189B (zh) * 2008-07-03 2011-01-19 明基电通有限公司 拍照控制方法及其拍照装置
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP4957750B2 (ja) 2008-07-31 2012-06-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5219929B2 (ja) 2008-07-31 2013-06-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN101661715B (zh) * 2008-08-26 2012-10-03 深圳艾科创新微电子有限公司 一种放大图像平移显示的装置及方法
JP2010054762A (ja) 2008-08-28 2010-03-11 Sony Corp 情報処理装置および方法、並びにプログラム
JP4636141B2 (ja) 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4984174B2 (ja) 2008-08-29 2012-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4720878B2 (ja) * 2008-08-29 2011-07-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US20190215449A1 (en) * 2008-09-05 2019-07-11 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
JP5220552B2 (ja) * 2008-10-27 2013-06-26 ペンタックスリコーイメージング株式会社 カメラ制御システムおよびデジタルカメラ
JP5081133B2 (ja) * 2008-11-18 2012-11-21 富士フイルム株式会社 オートフォーカスシステム
US8134597B2 (en) * 2008-12-05 2012-03-13 Sony Ericsson Mobile Communications Ab Camera system with touch focus and method
US20100166404A1 (en) * 2008-12-31 2010-07-01 Lombardi Michael J Device and Method Using a Touch-Detecting Surface
KR101599871B1 (ko) * 2009-02-11 2016-03-04 삼성전자주식회사 촬상 장치 및 촬상 방법
KR101691823B1 (ko) * 2009-09-09 2017-01-02 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
KR101613529B1 (ko) 2009-10-07 2016-04-19 엘지이노텍 주식회사 카메라 모듈
JP5454158B2 (ja) * 2010-01-15 2014-03-26 カシオ計算機株式会社 撮像装置、その制御方法およびプログラム
KR101624654B1 (ko) 2010-03-15 2016-05-26 삼성전자주식회사 초점 조절 장치 및 초점 조절 방법
JP5459031B2 (ja) * 2010-04-13 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN106959815A (zh) * 2010-12-20 2017-07-18 联想(北京)有限公司 电子设备和拍照方法
JP2012147100A (ja) * 2011-01-07 2012-08-02 Nikon Corp 撮像装置
KR101794350B1 (ko) * 2011-02-08 2017-12-04 삼성전자주식회사 휴대단말기의 영상 촬영 방법
JP2012173531A (ja) * 2011-02-22 2012-09-10 Sony Corp 撮像装置、およびフォーカス制御方法、並びにプログラム
JP5678804B2 (ja) 2011-05-27 2015-03-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR101784523B1 (ko) 2011-07-28 2017-10-11 엘지이노텍 주식회사 터치형 휴대용 단말기
WO2013089190A1 (ja) * 2011-12-16 2013-06-20 オリンパスイメージング株式会社 撮像装置及びその撮像方法、コンピュータにより処理可能な追尾プログラムを記憶する記憶媒体
JP5635546B2 (ja) * 2012-03-15 2014-12-03 オリンパスイメージング株式会社 撮影機器および撮影機器の制御方法
JP5987380B2 (ja) * 2012-03-16 2016-09-07 カシオ計算機株式会社 撮像装置及びプログラム
EP2843628A1 (en) * 2012-04-23 2015-03-04 Sony Corporation Image processing device, image processing method, and recording medium
US9041844B2 (en) * 2012-04-27 2015-05-26 Blackberry Limited Camera device with a dynamic touch screen shutter and dynamic focal control area
EP2933998A4 (en) * 2012-12-28 2016-08-24 Nubia Technology Co Ltd RECORDING DEVICE AND RECORDING METHOD
CN103941991B (zh) * 2013-01-21 2017-02-08 联想(北京)有限公司 一种信息处理方法及电子设备
KR102121528B1 (ko) * 2013-08-23 2020-06-10 삼성전자주식회사 촬영 장치 및 이의 제어 방법
CN104683684B (zh) * 2013-11-29 2018-06-26 华为技术有限公司 光场图像处理方法和装置以及光场相机
JP6146293B2 (ja) * 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
JP2016027704A (ja) * 2014-07-04 2016-02-18 パナソニックIpマネジメント株式会社 撮像装置
CN104156149B (zh) 2014-07-18 2016-04-13 小米科技有限责任公司 拍摄参数调节方法及装置
CN104270562B (zh) * 2014-08-15 2017-10-17 广东欧珀移动通信有限公司 一种拍照对焦方法和拍照对焦装置
KR102254703B1 (ko) * 2014-09-05 2021-05-24 삼성전자주식회사 촬영 장치 및 촬영 방법
US9769378B2 (en) 2014-09-08 2017-09-19 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus that changes from highlighting a first focus frame to highlighting a second focus frame when a focus lens moves from a first focus position to a second focus position
US20180324351A1 (en) * 2015-11-17 2018-11-08 Sony Corporation Control device, control method, and program
JP6614943B2 (ja) * 2015-11-30 2019-12-04 キヤノン株式会社 撮像制御装置およびその制御方法
JP6590666B2 (ja) * 2015-11-30 2019-10-16 キヤノン株式会社 電子機器およびその制御方法
JP6608966B2 (ja) 2016-01-28 2019-11-20 マクセル株式会社 撮像装置
WO2017164140A1 (ja) * 2016-03-22 2017-09-28 キヤノン株式会社 電子機器およびその制御方法
JP6788518B2 (ja) * 2016-03-22 2020-11-25 キヤノン株式会社 電子機器およびその制御方法、ならびに撮像装置
JP2018013745A (ja) 2016-07-23 2018-01-25 キヤノン株式会社 電子機器およびその制御方法
EP3509291B1 (en) * 2016-08-31 2022-09-07 Canon Kabushiki Kaisha Imaging control apparatus and method therefor
JP6799475B2 (ja) * 2017-02-10 2020-12-16 キヤノン株式会社 撮像装置及びその制御方法
JP2018207309A (ja) * 2017-06-05 2018-12-27 オリンパス株式会社 撮像装置、撮像方法およびプログラム
WO2020158008A1 (ja) * 2019-01-31 2020-08-06 パナソニックIpマネジメント株式会社 撮像装置
JP7467071B2 (ja) * 2019-10-24 2024-04-15 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、記憶媒体
JP7423325B2 (ja) * 2020-01-29 2024-01-29 キヤノン株式会社 表示制御装置およびその制御方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399312A (ja) * 1989-09-12 1991-04-24 Matsushita Electric Ind Co Ltd 情報処理装置
JPH04178815A (ja) * 1990-11-14 1992-06-25 Canon Inc 情報処理装置およびデータ処理方法
JP3256994B2 (ja) * 1991-10-30 2002-02-18 富士通株式会社 タッチ入力による表示対象移動方法
JP2643045B2 (ja) * 1991-10-31 1997-08-20 富士通株式会社 表示拡大縮小方式
JPH06113187A (ja) * 1992-09-25 1994-04-22 Sony Corp オートフォーカスカメラ装置
JPH0876927A (ja) * 1994-08-31 1996-03-22 Brother Ind Ltd 情報処理装置
JP3543397B2 (ja) * 1994-11-04 2004-07-14 ソニー株式会社 映像拡大装置
JPH10105334A (ja) * 1996-10-02 1998-04-24 Fanuc Ltd タッチパネルによる2点選択図形移動方法
JPH11142719A (ja) * 1997-11-10 1999-05-28 Sony Corp カメラ装置
JP3867459B2 (ja) * 1999-02-02 2007-01-10 カシオ計算機株式会社 ウインドウ表示制御装置およびそのプログラム記録媒体
JP2001034414A (ja) * 1999-07-23 2001-02-09 Nec Corp スライドパッド一体型液晶ディスプレイ装置
JP3805259B2 (ja) * 2002-01-29 2006-08-02 富士写真フイルム株式会社 画像処理方法、画像処理装置及び電子カメラ
JP2004117490A (ja) 2002-09-24 2004-04-15 Fuji Photo Optical Co Ltd オートフォーカスシステム
JP4368106B2 (ja) * 2002-12-26 2009-11-18 ソニー株式会社 撮像装置および方法、並びにプログラム
JP2005156737A (ja) * 2003-11-21 2005-06-16 Fujinon Corp オートフォーカスシステム
JP2005221602A (ja) * 2004-02-04 2005-08-18 Konica Minolta Photo Imaging Inc 撮像装置
JP2006023384A (ja) * 2004-07-06 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置

Also Published As

Publication number Publication date
US7781710B2 (en) 2010-08-24
CN100568927C (zh) 2009-12-09
US20070018069A1 (en) 2007-01-25
CN1893561A (zh) 2007-01-10
JP2007019685A (ja) 2007-01-25

Similar Documents

Publication Publication Date Title
JP4929630B2 (ja) 撮像装置、制御方法、およびプログラム
US10469737B2 (en) Display control device and display control method
TWI326553B (en) Imaging apparatus, data extraction method, and data extraction program
JP4530067B2 (ja) 撮像装置、撮像方法及びプログラム
US8823864B2 (en) Image capturing apparatus and associated methodology for auto-focus and facial detection
JP5617603B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2014165609A (ja) 撮影機器
US9485413B2 (en) Imaging device, display device, control method, and method for controlling area change
US9319582B2 (en) Imaging device and image processor configured to process an object region
JP2009225027A (ja) 撮像装置、撮像制御方法、及びプログラム
JP2013009189A (ja) 撮影装置および撮像方法
JP2006319903A (ja) 情報表示画面を備えた携帯機器
US9118829B2 (en) Imaging device
JP2019086701A (ja) 撮像制御装置およびその制御方法
JP2010288171A (ja) 撮影装置および撮影方法
JP6270508B2 (ja) 撮像装置および撮像装置の画像表示方法
JP2011004220A (ja) デジタルカメラ
JP2008178031A (ja) 撮像装置
JP5077113B2 (ja) 電子カメラ
JP5610738B2 (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
JP2013115553A (ja) 撮像装置及びその制御方法
JP2007193177A (ja) カメラ
JP2006025092A (ja) 撮影装置
JP2011077862A (ja) 撮影装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110701

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R151 Written notification of patent or utility model registration

Ref document number: 4929630

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees