JP4444927B2 - 測距装置及び方法 - Google Patents

測距装置及び方法 Download PDF

Info

Publication number
JP4444927B2
JP4444927B2 JP2006093302A JP2006093302A JP4444927B2 JP 4444927 B2 JP4444927 B2 JP 4444927B2 JP 2006093302 A JP2006093302 A JP 2006093302A JP 2006093302 A JP2006093302 A JP 2006093302A JP 4444927 B2 JP4444927 B2 JP 4444927B2
Authority
JP
Japan
Prior art keywords
distance
subject
size
image data
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006093302A
Other languages
English (en)
Other versions
JP2007263926A (ja
JP2007263926A5 (ja
Inventor
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006093302A priority Critical patent/JP4444927B2/ja
Priority to US11/730,072 priority patent/US7764321B2/en
Publication of JP2007263926A publication Critical patent/JP2007263926A/ja
Publication of JP2007263926A5 publication Critical patent/JP2007263926A5/ja
Application granted granted Critical
Publication of JP4444927B2 publication Critical patent/JP4444927B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Description

本発明は、測距機能を備えたデジタルスチルカメラ等の撮影装置における測距装置及び測距方法に関するものである。
従来、デジタルスチルカメラ(以下「デジタルカメラ」と表記する)やデジタルビデオカメラ等の撮影装置において、撮影レンズを所定の被写体に合焦するように合焦動作させるオートフォーカス(以下「AF」と表記する)機構が広く用いられている。また、このAF処理が行われる際に、デジタルカメラに設置されている測距センサによって被写体までの距離を測定し、測距結果を用いてAFを行う方法が知られている。その他に、CCD等の撮像手段によって取得された画像データから人物の顔などを検出し、顔の大きさから被写体までの距離を算出し、その算出結果を用いてAFを行う方法も知られている。
また、特許文献1には、撮影画面内から被写体を検出し、検出結果に基づいた特定領域について測距を行うことによって高精度且つ高速に合焦を行う測距装置について記載されている。更に、特許文献2には、取得された画像データから顔の輪郭を抽出し、輪郭の検出された領域について重点的に測距を行うことによって被写体距離をより正確に把握する測距装置について記載されている。
特開2001−304855号公報 特開2001−166198号公報
しかしながら、特許文献1及び2に記載されている方法のように、被写体までの距離を測距センサのみによって測定する場合、測距センサによって得られた結果と実際の被写体距離との間に誤差が生じる場合があった。
また、顔の大きさから被写体距離を算出する場合、顔の大きさが小さいと、算出した結果と実際の被写体距離との間に誤差が生じてしまい、正しい被写体距離を得ることができなかった。このように、測距センサによる測距結果或いは顔の大きさから算出した結果と実際の被写体距離との間に誤差が発生すると、合焦を正確に行うことができず、AF機構の信頼性低下に繋がっていた。
本発明は、上記事情を鑑みてなされたものであり、正確な被写体距離を取得するための測距装置及び方法を提供することを目的とする。
以上の課題を解決するために、本発明における測距装置は、撮影により画像データを取得する取得手段と、前記画像データから対象物を検出する検出手段と、前記対象物の大きさに基づいて前記対象物までの距離を算出する算出手段と、前記対象物までの距離を測定する測距手段と、を備えた測距装置において、前記検出された対象物の大きさに応じて、前記算出手段によって算出された前記対象物までの距離及び/又は前記測距手段によって測定された前記対象物までの距離に基づいた距離を被写体距離とする決定手段を更に備えたことを特徴としている。
また、前記検出された対象物の大きさが所定の大きさより大きく、且つ、前記算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離との差の絶対値が所定の閾値より小さいとき、前記決定手段は前記算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離の平均値を前記被写体距離とすることとしてもよい。
また、前記検出された対象物の大きさが前記所定の大きさ以下のとき、前記決定手段は前記測距手段によって測定された前記対象物までの距離を前記被写体距離とすることとしてもよい。
また、閾値を前記対象物の大きさに基づいて設定する閾値設定手段を更に備え、前記算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離との差の絶対値が前記設定された閾値より小さいとき、前記決定手段は前記算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離の平均値を前記被写体距離とすることとしてもよい。
更に、本発明における測距装置は、被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体像から画像データを取得する取得手段と、前記画像データに基づいて合焦評価値を算出する合焦評価値算出手段と、前記画像データから対象物を検出する対象物検出手段と、前記対象物の大きさに基づいて前記対象物までの距離を算出する距離算出手段と、前記対象物までの距離を測定する測距手段と、を備えた測距装置において、前記算出された合焦評価値からピーク値を検出するピーク値検出手段と、前記距離算出手段によって算出された前記対象物までの距離又は前記測距手段によって測定された前記対象物までの距離の内、前記検出されたピーク値に基づいて、何れか一方を被写体距離とする決定手段と、を更に備えたことを特徴としている。
また、前記決定手段が、前記検出されたピーク値の大きさに基づいて、前記距離算出手段によって算出された前記対象物までの距離又は前記測距手段によって測定された前記対象物までの距離の内、何れか一方を前記被写体距離とするものであることとしてもよい。
また、前記決定手段が、前記検出されたピークの所定の高さにおける幅に基づいて、前記距離算出手段によって算出された前記対象物までの距離又は前記測距手段によって測定された前記対象物までの距離の内、何れか一方を前記被写体距離とするものであることとしてもよい。
ここで「検出されたピークの所定の高さにおける幅」とは、例えば半値幅のことを言う。
そして、本発明における測距方法は、撮影により画像データを取得する取得手段と、前記画像データから対象物を検出する検出手段と、前記対象物の大きさに基づいて前記対象物までの距離を算出する算出手段と、前記対象物までの距離を測定する測距手段と、を備えた測距装置に用いられる測距方法において、前記検出された対象物の大きさに応じて、前記算出手段によって算出された前記対象物までの距離及び/又は前記測距手段によって測定された前記対象物までの距離に基づいた距離を被写体距離とすることを特徴としている。
更に、本発明における測距方法は、被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体増から画像データを取得する取得手段と、前記画像データに基づいて合焦評価値を算出する合焦評価値算出手段と、前記画像データから対象物を検出する対象物検出手段と、前記対象物の大きさに基づいて前記対象物までの距離を算出する距離算出手段と、前記対象物までの距離を測定する測距手段と、を備えた測距装置に用いられる測距方法において、前記算出された合焦評価値からピーク値を検出し、前記距離算出手段によって算出された前記対象物までの距離又は前記測距手段によって測定された前記対象物までの距離の内、前記検出されたピーク値に基づいて、何れか一方を被写体距離とすることを特徴としている。
検出された対象物の大きさと、測距手段によって測定された測距結果とを用いて被写体距離を求める場合、対象物の大きさに応じて(つまり、対象物が近い位置にあるか遠い位置にあるかによって)被写体距離の求め方を変化させることによって、測距結果の信頼性を高めることができる。また、測距結果が正確だと合焦位置を正確に割り出すことができるため、撮像装置の性能を向上させることができる。
以下、図面を参照して本発明の実施の形態を説明する。尚、以下の実施の形態では、本発明における測距装置を備えた電子機器としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きPDA等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
〔第1の実施の形態〕
図1及び2は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た外観図である。図1に示すように、デジタルカメラ1の本体10の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻る)ボタン15、表示切替ボタン16が設けられ、更に撮影のためのファインダ17及び撮影並びに再生のためのモニタ18が設けられている。また本体10の上面には、シャッタボタン19が設けられている。
動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー/OKボタン12は、押下される毎に撮影モード、フラッシュ発光モード、記録画素数や感度等の設定を行うための各種メニューをモニタ18に表示させたり、モニタ18に表示されたメニューに基づく選択・設定を決定するためのボタンである。
ズーム/上下レバー13は、上下方向に倒すことによって、撮影時には望遠/広角の調整が行われ、各種設定時にはモニタ18に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン14は、各種設定時にモニタ18に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
Back(戻る)ボタン15は、押下されることによって各種設定操作を中止し、モニタ18に1つ前の画面を表示するためのボタンである。表示切替ボタン16は、押下することによってモニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。ファインダ17は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ17から見える被写体像は、本体10の前面にあるファインダ窓23を介して映し出される。
以上説明した各ボタン及びレバーの操作によって設定された内容は、モニタ18中の表示や、ファインダ17内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ18には、撮影の際に被写体確認用のスルー画が表示される。これにより、モニタ18は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。
更に、図2に示すように、本体10の前面には、撮影レンズ(撮像光学系)20、レンズカバー21、電源スイッチ22、ファインダ窓23、フラッシュライト24及びセルフタイマーランプ25が設けられ、側面にはメディアスロット26が設けられている。
撮影レンズ20は、被写体像を所定の結像面上(本体10内部にあるCCD等)に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー21は、デジタルカメラ1の電源がオフ状態の時、再生モードであるとき等に撮影レンズ20の表面を覆い、汚れやゴミ等から撮影レンズ20を保護するものである。電源スイッチ22は、デジタルカメラ1の電源のオン/オフを切り替えるためのスイッチである。フラッシュライト24は、シャッタボタン19が押下され、本体10の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ25は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングを被写体に知らせるためものである。メディアスロット26は、メモリカード等の外部記録メディア70が充填されるための充填口であり、外部記録メディア70が充填されると、データの読み取り/書き込みが行われる。
図3は、デジタルカメラ1の機能構成を示すブロック図である。デジタルカメラ1の操作系として、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻り)ボタン15、表示切替ボタン16、シャッタボタン19及び電源スイッチ22と、これらのスイッチ、ボタン、レバー類の操作内容をCPU75に伝えるためのインターフェースである操作系制御部74が設けられている。
また、撮影レンズ20を構成するものとして、フォーカスレンズ20a及びズームレンズ20bが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部51、ズームレンズ駆動部52によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部51は、AF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aをステップ駆動する。ズームレンズ駆動部52は、ズーム/上下レバー13の操作量データに基づいてズームレンズ20bのステップ駆動を制御する。
絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE(自動露出)/AWB(オートホワイトバランス)処理部63から出力される絞り値データに基づいて絞り54の絞り径の調整を行う。
シャッタ56は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部57によって駆動される。シャッタ駆動部57は、シャッタボタン19の押下信号と、AE/AWB処理部63から出力されるシャッタ速度データとに応じてシャッタ56の開閉の制御を行う。
上記光学系の後方には、撮影素子であるCCD58を有している。CCD58は、多数の受光素子が2次元状に配列されてなる光電面を有しており、光学系を通過した被写体光が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ(不図示)と、RGB各色のフィルタが規則的に配列されてなるカラーフィルタアレイ(不図示)とが配置されている。CCD58は、CCD制御部59から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を1ラインずつシリアルのアナログ画像データとして出力する。各画素における電荷の蓄積時間(即ち露出時間)は、CCD制御部59から与えられる電子シャッタ駆動信号によって決定される。
CCD58が出力するアナログ画像データは、アナログ信号処理部60に入力される。このアナログ信号処理部60は、アナログ画像信号のノイズ除去を行う相関2重サンプリング回路(CDS)と、アナログ画像信号のゲイン調整を行うオートゲインコントローラ(AGC)と、アナログ画像データをデジタル画像データに変換するA/Dコンバータ(ADC)とからなる。そしてデジタル画像データは、画素毎にRGBの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部57、CCD制御部59、アナログ信号処理部60に入力されて、シャッタボタン19の操作と、シャッタ56の開閉、CCD58の電荷取り込み、アナログ信号処理60の処理の同期が取られる。フラッシュ制御部73は、フラッシュ24の発光動作を制御する。
画像入力コントローラ61は、上記アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ68に書き込む。このフレームメモリ68は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)から構成されている。
表示制御部71は、フレームメモリ68に格納された画像データをスルー画としてモニタ18に表示させるためのものであり、例えば、輝度(Y)信号と色(C)信号を一緒にして1つの信号としたコンポジット信号に変換して、モニタ18に出力する。スルー画は、撮影モードが選択されている間、所定間隔で取得されてモニタ18に表示される。また、表示制御部71は、外部記録メディア70に記憶され、メディア制御部69によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させる。
AF処理部62及びAE/AWB処理部63は、プレ画像に基づいて撮影条件を決定する。プレ画像とは、シャッタボタン19が半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮影を実行させた結果、フレームメモリ68に格納された画像データに基づいた画像である。
AF処理部62は、上記プレ画像に基づいて焦点位置を検出し、フォーカス駆動部データを出力する。本実施の形態においては、焦点位置の検出方法として、ピントが合った状態では画像の合焦評価値(コントラスト値)が高くなるという特徴を利用して、合焦位置を検出するパッシブ方式が適用されている。
AE/AWB処理部63は、上記プレ画像に基づいて被写体輝度を測定し、絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力すると共に(AE)、撮影時のホワイトバランスを調整する(AWB)。
画像処理部64は、本画像の画像データに対してガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理を施すと共に、CCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、シャッタボタン19が全押しされることによって実行されることによってCCD58からアナログ画像データが取り込まれ、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリ68に格納された画像データに基づいた画像である。本画像の画素数の上限はCCD58の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定(ファイン、ノーマル等の設定)により、記録画素数を変更することができる。一方、スルー画やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の1/16程度の画素数で取り込まれてもよい。
圧縮/伸長処理部67は、画像処理部64によって画質補正等の処理が行われた画像データに対して、例えばJPEG等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮/伸長処理部67は、再生モードにおいては外部記録メディア70から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部71に出力され、表示制御部71は画像データに基づいた画像をモニタ18に表示する。
メディア制御部69は、図2におけるメディアスロット26に相当し、外部記録メディア70に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。
CPU75は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ1の本体各部を制御する。またデータバス76は、画像入力コントローラ61、各種処理部62〜67、フレームメモリ68、各種制御部69、71、及びCPU75に接続されており、このデータバス76を介して各種信号、データの送受信が行われる。
測距センサ81は、被写体に対して発光部から光を発し、被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を算出する三角測距センサである。算出された測距結果はCPU75に出力される。
次に、デジタルカメラ1の簡単な一連の流れを図4のフローチャートを用いて説明する。まずCPU75は、動作モードスイッチ11の設定に従って、動作モードが撮影モードであるか再生モードであるか判別する(ステップS1)。再生モードの場合(ステップS1;再生)、再生処理が行われる(ステップS11)。この再生処理は、メディア制御部69が外部記録メディア70に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させるための処理である。再生処理が終了したら、CPU75はデジタルカメラ1の電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS10)、オフ操作がなされていたら(ステップS10;YES)、デジタルカメラ1の電源をオフし、処理を終了する。
一方、ステップS1において動作モードが撮影モードであると判別された場合(ステップS1;撮影)、CPU75はスルー画の表示制御を行う(ステップS2)。スルー画の表示とは、前述のプレ画像をモニタ18に表示する処理である。次に、CPU75はシャッタボタン19が半押しされたか否かを判別する(ステップS3)。半押しがされていない場合(ステップS3;NO)、CPU75はステップS2の処理を繰り返す。半押しされた場合(ステップS3;YES)、AE/AWB処理部63が露出の決定を行う(ステップS4)。
続いて、合焦処理が行われる(ステップS5)。この合焦処理については、後に詳しく説明する。合焦処理が行われると、シャッタボタン19の半押しが解除されたか否かが判別される(ステップS6)。半押しが解除された場合は(ステップS6;YES)、CPU75はステップS2へ処理を移行する。半押しが解除されていない場合は(ステップS6;NO)、CPU75はシャッタボタン19が全押しされたか否かを判別する(ステップS7)。全押しされていない場合は(ステップS7;NO)ステップS7の処理が引き続き繰り返され、全押しされた場合は(ステップS7;YES)CPU75は撮影処理を行う(ステップS8)。撮影処理とは、CCD58の光電面に結像された被写体像に基づいたアナログ画像データがA/D変換されて画像処理部64によって各種信号処理が施されるまでの処理を言う。また、撮影処理として、更に信号処理が施された画像データに対して圧縮/伸長処理部67によって圧縮処理が施されて画像ファイルが生成されてもよい。
撮影処理が終了すると、CPU75は撮影画像をモニタ18に表示する処理を行い、またその撮影画像を外部記録メディア70に記録する(ステップS9)。そしてCPU75は電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS10)、オフ操作がなされていたら(ステップS10;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS10;NO)、ステップS1へ処理を移行する。
次に、合焦処理の流れについて図5のフローチャートを用いて説明する。まずCPU75は被写体距離検出処理を実行する(ステップS21)。図6は被写体距離検出処理の流れを示すフローチャートである。CPU75は、フォーカスレンズ駆動部51を介してフォーカスレンズ20aを所定の位置に移動させる。そして、CCD58の光電面に結像された被写体像に基づいて生成された画像データから顔検出部65に人物の顔を検出させ、顔の大きさを算出し(ステップS31)、算出された顔の大きさから被写体距離Aを求める(ステップS32)。顔の大きさと被写体距離との対応関係を示すデータは、例えば図3に図示していない記憶部に予め記憶されていてもよい。また、所定の計算式等を用いて、顔の大きさから被写体距離が算出されるようにしてもよい。更に本実施の形態では、画像データから人物の顔し、顔の大きさに応じて被写体距離Aを求めるものとして説明するが、この他に、人物の目を検出し、目の大きさ、又は目の間隔に応じて被写体距離Aを求めるようにしてもよい。
そして、CPU75は測距センサ81に被写体距離を測定させ、測定結果を被写体距離Bとする(ステップS33)。次に、CPU75はステップS31において算出された顔の大きさと予め設定された所定サイズとを比較する(ステップS34)。顔の大きさが所定サイズより大きい場合(ステップS34;YES)、CPU75は被写体距離Aと被写体距離Bの差の絶対値と所定の閾値とを比較する(ステップS35)。差の絶対値が閾値より小さければ(ステップS35;YES)、CPU75は被写体距離Aと被写体距離Bの平均値を算出し、その平均値を被写体距離として(ステップS36)被写体距離検出処理を終了する。尚、被写体距離Aと被写体距離Bの単純な平均値の他に、各被写体距離に重みを付けた重み付け平均値(例えば、(被写体距離A×a+被写体距離B×b)/(a+b)、a及びbは1以上の整数)を被写体距離としてもよい。
被写体距離Aと被写体距離Bの差の絶対値が閾値以上である場合(ステップS35;NO)、ステップS31に処理を移行する。これは、顔の大きさから算出した被写体距離Aと測距センサ81によって測定した被写体距離Bとの間の誤差が大きいため、再度各被写体距離を算出・測定し直すためである。尚、顔の大きさからの被写体距離の算出及び測距センサ81による測定の繰り返し回数を予め設定しておき、繰り返し回数を超えたら、測距センサ81によって測定された被写体距離Bを被写体距離として採用するようにしてもよい。
一方、ステップS34において、顔のサイズが所定サイズ以下である場合(ステップS34;NO)、CPU75は被写体距離Bを被写体距離として(ステップS37)被写体距離検出処理を終了する。これは顔のサイズが所定サイズ以下であるということは、人物が遠方にいるため、顔のサイズから算出された被写体距離Aと実際の被写体距離との間の誤差が大きい可能性がある。従って、被写体距離Aは無視して、測距センサ81によって測定された被写体距離Bを採用するようにしたものである。
図5に戻り、ステップS21の被写体距離検出処理が終了すると、CPU75は決定された被写体距離に基づいて本サーチ処理を行うために各種制御を行う(ステップS22)。つまり、被写体距離に相当する位置を仮の合焦位置とし、仮の合焦位置を含む所定の範囲においてフォーカスレンズ20aをステップ駆動させて、取得された画像データから合焦評価値を算出する。そして合焦評価値が最も極大になった位置を抽出する。抽出された位置を合焦位置として、その位置にフォーカスレンズ20aを移動させる(ステップS23)。そして合焦処理を終了する。
このように、検出された顔の大きさと、測距センサ81によって測定された測距結果とを用いて被写体距離を求める場合、顔の大きさに応じて(つまり、人物が近い位置にいるか遠い位置にいるかによって)被写体距離の求め方を変化させることによって、測距結果の信頼性を高めることができる。また、測距結果が正確だと合焦位置を正確に割り出すことができ、デジタルカメラ1の性能を向上させることができる。
〔第2の実施の形態〕
第1の実施の形態では、顔の大きさに応じて被写体距離の求め方を変化させる方法を説明した。第2の実施の形態では、合焦評価値からピーク値を抽出し、そのピーク値の位置に応じて顔の大きさから算出した被写体距離A又は測距センサ81によって測定された被写体距離Bの何れか一方を採用する方法について説明する。尚、第2の実施の形態におけるデジタルカメラ1の外観図、機能構成図、主な一連の動作、合焦処理については第1の実施の形態において図1〜図5を用いて説明したものと同一であるため、説明を省略し、被写体距離検出手段についてのみ説明する。
図7は第2の実施の形態における被写体距離検出処理の流れを示したフローチャートである。まずCPU75は、至近側から無限遠側における全範囲又は所定の範囲においてラフサーチ処理を行う為の各種制御を行う(ステップS41)。ラフサーチ処理とは、至近側から無限遠側における全範囲又は所定の範囲においてフォーカスレンズ20aをステップ駆動により移動させ、移動毎に画像データから合焦評価値を算出し、算出された合焦評価値からピーク値を検出する処理である。
次に、CPU75は、フォーカスレンズ20aを所定の位置に移動させ、取得した画像データから顔検出部65に人物の顔を検出させ、顔の大きさから被写体距離Aを求める(ステップS42)。また、CPU75は測距センサ81に被写体距離を測定させ、測定結果を被写体距離Bとする(ステップS43)。
そして、ステップS41において検出したピーク値から、被写体距離Aに相当するピーク値と被写体距離Bに相当するピーク値とを抽出し(ステップS44)、被写体距離Aに相当するピーク値の大きさと被写体距離Bに相当するピーク値の大きさとを比較する(ステップS45)。被写体距離Aに相当するピーク値の方が大きい場合(ステップS45;YES)、CPU75は被写体距離Aを被写体距離として採用し(ステップS46)、被写体距離検出処理を終了する。一方、被写体距離Bに相当するピークの方が大きい場合(ステップS45;NO)、CPU75は被写体距離Bを被写体距離として採用し(ステップS47)、被写体距離検出処理を終了する。
尚、図7において説明した被写体距離検出処理の他に、顔の大きさから算出された被写体距離Aの位置近傍と測距センサ81によって測定された被写体距離Bの位置近傍のみをラフサーチ処理して合焦評価値のピーク値を取得し、被写体距離を求める方法もある。図8は第2の実施の形態における被写体距離検出処理の他の一例を示すフローチャートである。
まず、CPU75はフォーカスレンズ20aを所定の位置に移動させ、取得した画像データから顔検出部65に人物の顔を検出させ、顔の大きさから被写体距離Aを求める(ステップS51)。また、CPU75は測距センサ81に被写体距離を測定させ、測定結果を被写体距離Bとする(ステップS52)。
そして、CPU75は被写体距離A及びBを含む範囲についてラフサーチ処理を行う為の各種制御を行う(ステップS53)。被写体距離A及びBを含む範囲としては、図9(a)に示すように被写体距離Aの位置近傍と被写体距離Bの位置近傍のみをラフサーチ範囲としてもよいし、図9(b)に示すように被写体距離Aの位置のやや至近側から被写体距離Bの位置のやや無限遠側までの範囲をラフサーチ範囲としてもよい。ラフサーチ範囲においては合焦評価値が算出され、ピーク値が検出される。
そして、CPU75は被写体距離Aに相当するピーク値と被写体距離Bに相当するピーク値とを抽出し(ステップS54)、被写体距離Aに相当するピーク値の大きさと被写体距離Bに相当するピーク値の大きさとを比較する(ステップS55)。被写体距離Aに相当するピーク値の方が大きい場合(ステップS55;YES)、CPU75は被写体距離Aを被写体距離として採用し(ステップS56)、被写体距離検出処理を終了する。一方、被写体距離Bに相当するピークの方が大きい場合(ステップS55;NO)、CPU75は被写体距離Bを被写体距離として採用し(ステップS57)、被写体距離検出処理を終了する。
尚、以上において、被写体距離Aに相当するピーク値と被写体距離Bに相当するピーク値とをピークの大きさを持って比較することとしたが、例えば、各ピークの半値幅の大きさを持って比較することとしてもよい。
このように、顔の大きさから算出した被写体距離Aと、測距センサ81によって測定された被写体距離Bとを用いて被写体距離を求める場合、合焦評価値のピーク値の大きさ又は半値幅に応じて何れか一方を被写体距離とすることによって、正確な被写体距離を選択することができるため、測距結果の信頼性を高めることができる。また、測距結果が正確だと合焦位置を正確に割り出すことができ、デジタルカメラ1の性能を向上させることができる。
〔第3の実施の形態〕
第3の実施の形態では、顔の大きさから算出した被写体距離Aと測距センサ81によって測定した被写体距離Bとの誤差が許容範囲内であるか否かを判別する閾値を顔の大きさに応じて変化させて被写体距離を決定する方法について説明する。尚、第3の実施の形態におけるデジタルカメラ1の外観図、機能構成図、主な一連の動作、合焦処理については第1の実施の形態において図1〜図5を用いて説明したものと同一であるため、説明を省略し、被写体距離検出手段についてのみ説明する。
図10は、第3の実施の形態における被写体距離検出処理の流れを示したフローチャートである。まず、CPU75は、フォーカスレンズ駆動部51を介してフォーカスレンズ20aを所定の位置に移動させ、取得した画像データから顔検出部65に人物の顔を検出させ、顔の大きさを算出する(ステップS61)。そして算出された顔の大きさから被写体距離Aを求める(ステップS62)。
次に、CPU75は測距センサ81に被写体距離を測定させ、測定結果を被写体距離Bとする(ステップS63)。そしてCPU75はステップS61において算出された顔の大きさと予め設定された所定サイズとを比較する(ステップS64)。顔の大きさが所定サイズより大きい場合(ステップS64;YES)、CPU75は閾値を既定の閾値に設定する(ステップS65)。顔の大きさが所定サイズ以下の場合(ステップS64;NO)、CPU75は使用する閾値を顔の大きさに応じて閾値テーブルからを読み出す(ステップS66)。ここで、閾値テーブルは記憶部(不図示)に記憶されたデータテーブルであり、顔の大きさが小さいほど閾値が大きくなるように予め設定されて記憶されている。顔の大きさが所定サイズより大きい場合、人物は近距離にいるため被写体距離Aは比較的正確に算出されるものとして、閾値を小さく(即ち、被写体距離Aと被写体距離Bの誤差の許容範囲を小さく)する。一方、顔の大きさが所定サイズ以下の場合、人物は比較的遠方にいることになるため、被写体距離Aと実際の被写体距離との間の誤差も大きくなる可能性がある。従って、閾値を大きく(即ち、被写体距離Aと被写体距離Bの誤差の許容範囲を大きく)する。つまり、ステップS65における既定の閾値よりステップS66において閾値テーブルから読み出される閾値の方が大きい値となる。
尚、本実施の形態では、ステップS64において顔の大きさを所定サイズと比較して、既定の閾値を使用するか、閾値テーブルから閾値を設定するかに分岐することとしたが、顔の大きさと所定サイズとの比較を行わず、顔の大きさに応じて閾値テーブルから閾値を設定するようにしてもよい。即ち、閾値テーブルは可能性のある顔の大きさの全範囲に対して対応付けられた閾値のデータを記憶していることとなる。また、閾値テーブルを用いて閾値を設定する方法の他に、顔の大きさから所定の計算式を用いて閾値を算出するようにしてもよい。
次に、CPU75は被写体距離Aと被写体距離Bの差の絶対値と設定された閾値とを比較する(ステップS67)。差の絶対値が閾値より小さければ(ステップS67;YES)、CPU75は被写体距離Aと被写体距離Bの平均値を算出し、その平均値を被写体距離として(ステップS68)被写体距離検出処理を終了する。被写体距離Aと被写体距離Bの差の絶対値が閾値以上である場合(ステップS67;NO)、ステップS61に処理を移行する。
このように、顔の大きさから算出した被写体距離Aと、測距センサ81によって測定された被写体距離Bとの差の絶対値の許容範囲を、顔の大きさから設定した閾値を用いて設定することにより、顔の大きさに応じて差の絶対値(被写体距離Aと被写体距離Bの誤差)の許容範囲を変化させることができる。
デジタルカメラの背面図 デジタルカメラの前面図 デジタルカメラの機能ブロック図 デジタルカメラの一連の動作を説明するためのフローチャート 合焦処理の流れを説明するためのフローチャート 第1の実施の形態における被写体距離検出処理の流れを説明するためのフローチャート 第2の実施の形態における被写体距離検出処理の流れを説明するためのフローチャート 第2の実施の形態における被写体距離検出処理の流れを説明するためのフローチャート ラフサーチ範囲について説明した図 第3の実施の形態における被写体距離検出処理の流れを説明するためのフローチャート
符号の説明
1 デジタルカメラ
11 動作モードスイッチ
12 メニューボタン
13 ズーム/上下レバー
14 左右ボタン
15 BACK(戻り)ボタン
16 表示切替ボタン
17 ファインダ
18 モニタ
19 シャッタボタン
20 撮像レンズ
21 レンズカバー
22 電源スイッチ
23 ファインダ窓
24 フラッシュライト
25 セルフタイマーランプ
26 メディアスロット
81 測距センサ

Claims (8)

  1. 被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体像から画像データを取得する取得手段と、
    前記画像データに基づいて合焦評価値を算出する合焦評価値算出手段と、
    前記画像データから対象物を検出する対象物検出手段と、
    前記対象物の大きさに基づいて前記対象物までの距離を算出する距離算出手段と、
    前記対象物までの距離を測定する測距手段と、
    前記算出された合焦評価値からピーク値を検出するピーク値検出手段と、
    前記距離算出手段によって算出された前記対象物までの距離又は前記測距手段によって測定された前記対象物までの距離の内、前記検出されたピーク値の大きさに基づいて、何れか一方を被写体距離とする被写体距離決定手段と
    を備えた測距装置。
  2. 被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体像から画像データを取得する取得手段と、
    前記画像データから対象物を検出する対象物検出手段と、
    前記対象物の大きさに基づいて前記対象物までの距離を算出する距離算出手段と、
    前記対象物までの距離を測定する測距手段と、
    前記検出された対象物の大きさが所定の大きさより大きく、且つ、前記距離算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離との差の絶対値が所定の閾値より小さいとき、前記距離算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離との平均値を前記被写体距離とする被写体距離決定手段と
    を備えたことを特徴とする測距装置。
  3. 前記対象物の大きさが前記所定の大きさ以下のとき、前記被写体距離決定手段は前記測距手段によって測定された前記対象物までの距離を前記被写体距離とすることを特徴とする請求項2記載の測距装置。
  4. 閾値を前記対象物の大きさに基づいて設定する閾値設定手段を更に備え、
    前記被写体距離決定手段が、前記距離算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離との差の絶対値が前記設定された閾値より小さいとき、前記決定手段は前記距離算出手段によって算出された前記対象物までの距離と前記測距手段によって測定された前記対象物までの距離の平均値を前記被写体距離とすることを特徴とする請求項2または3に記載の測距装置。
  5. 被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体像から画像データを取得し、
    前記画像データから対象物の検出と、前記対象物の大きさに基づく前記対象物までの距離の算出と、前記対象物までの距離の測定とを行い、
    前記画像データに基づいて合焦評価値を算出して該合焦評価値からピーク値を検出し、
    算出した前記対象物までの距離又は前記測定した前記対象物までの距離の内、前記検出されたピーク値の大きさに基づいて、何れか一方を被写体距離とする
    ことを特徴とする測距方法。
  6. 被写体像を所定の結像面に結像させる撮像光学系を光軸方向に沿って移動させ、移動毎に前記撮像光学系に結像された被写体像から画像データを取得し、
    前記画像データから対象物の検出と、前記対象物の大きさに基づく前記対象物までの距離の算出と、前記対象物までの距離の測定とを行い、
    前記検出された対象物の大きさが所定の大きさより大きく、且つ、算出した前記対象物までの距離と測定した前記対象物までの距離との差の絶対値が所定の閾値より小さいとき、算出した前記対象物までの距離と測定した前記対象物までの距離との平均値を前記被写体距離とする
    ことを特徴とする測距方法。
  7. 前記検出された対象物の大きさが前記所定の大きさ以下のとき、前記被写体距離決定手段は前記測距手段によって測定された前記対象物までの距離を前記被写体距離とすることを特徴とする請求項6記載の測距方法。
  8. 前記所定の閾値を前記対象物の大きさに基づいて設定することを特徴とする請求項6または7に記載の測距方法。
JP2006093302A 2006-03-30 2006-03-30 測距装置及び方法 Expired - Fee Related JP4444927B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006093302A JP4444927B2 (ja) 2006-03-30 2006-03-30 測距装置及び方法
US11/730,072 US7764321B2 (en) 2006-03-30 2007-03-29 Distance measuring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006093302A JP4444927B2 (ja) 2006-03-30 2006-03-30 測距装置及び方法

Publications (3)

Publication Number Publication Date
JP2007263926A JP2007263926A (ja) 2007-10-11
JP2007263926A5 JP2007263926A5 (ja) 2009-10-08
JP4444927B2 true JP4444927B2 (ja) 2010-03-31

Family

ID=38558381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006093302A Expired - Fee Related JP4444927B2 (ja) 2006-03-30 2006-03-30 測距装置及び方法

Country Status (2)

Country Link
US (1) US7764321B2 (ja)
JP (1) JP4444927B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4571617B2 (ja) * 2006-12-28 2010-10-27 三星デジタルイメージング株式会社 撮像装置及び撮像方法
KR101510098B1 (ko) * 2007-12-21 2015-04-08 삼성전자주식회사 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법
JP2010139666A (ja) * 2008-12-10 2010-06-24 Canon Inc 撮像装置
JP4793451B2 (ja) * 2009-01-21 2011-10-12 ソニー株式会社 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム
JP5495683B2 (ja) 2009-09-10 2014-05-21 キヤノン株式会社 撮像装置および測距方法
US9250328B2 (en) * 2009-09-30 2016-02-02 Javad Gnss, Inc. Graphics-aided remote position measurement with handheld geodesic device
JP5451316B2 (ja) * 2009-10-28 2014-03-26 キヤノン株式会社 撮像装置及び発光制御方法
US20110128385A1 (en) * 2009-12-02 2011-06-02 Honeywell International Inc. Multi camera registration for high resolution target capture
US7961401B1 (en) * 2009-12-23 2011-06-14 Ge Inspection Technologies, Lp System for providing two position zoom-focus
US20120236126A1 (en) * 2010-01-13 2012-09-20 Kenjiro Tsuda Image pickup device, image pickup method, program, and integrated circuit
KR101429250B1 (ko) * 2010-08-20 2014-09-25 주식회사 팬택 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
US8125376B1 (en) * 2010-08-30 2012-02-28 Javad Gnss, Inc. Handheld global positioning system device
US9228835B2 (en) 2011-09-26 2016-01-05 Ja Vad Gnss, Inc. Visual stakeout
US10255687B2 (en) * 2015-02-05 2019-04-09 Pixart Imaging Inc. Distance measurement system applicable to different reflecting surfaces and operating method thereof
CN105611142B (zh) * 2015-09-11 2018-03-27 广东欧珀移动通信有限公司 一种拍照方法及装置
CN106249508B (zh) * 2016-08-15 2019-04-19 Oppo广东移动通信有限公司 自动对焦方法和系统、拍摄装置
JP6785984B2 (ja) 2017-09-29 2020-11-18 富士フイルム株式会社 観察装置、観察方法および観察プログラム
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3936917A1 (en) * 2020-07-09 2022-01-12 Beijing Xiaomi Mobile Software Co., Ltd. A digital image acquisition apparatus and an autofocus method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001004909A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 自動焦点調節装置を有するカメラ
JP2001166198A (ja) 1999-12-06 2001-06-22 Olympus Optical Co Ltd 測距装置及びオートフォーカス装置
JP3603715B2 (ja) * 2000-01-14 2004-12-22 ミノルタ株式会社 測距装置および該測距装置を備えたカメラ
JP3619417B2 (ja) * 2000-02-17 2005-02-09 ペンタックス株式会社 カメラの測距装置
JP2001304855A (ja) 2000-04-18 2001-10-31 Olympus Optical Co Ltd 測距装置
JP3753617B2 (ja) * 2001-02-16 2006-03-08 コニカミノルタフォトイメージング株式会社 デジタル撮影装置、画像処理装置および記録媒体
JP2003015019A (ja) * 2001-06-27 2003-01-15 Minolta Co Ltd 被写体検出装置およびカメラ
JP2003107335A (ja) 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
JP2004317699A (ja) 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP4532865B2 (ja) * 2003-09-09 2010-08-25 キヤノン株式会社 撮像装置および撮像装置のフォーカス制御方法
US7733412B2 (en) * 2004-06-03 2010-06-08 Canon Kabushiki Kaisha Image pickup apparatus and image pickup method
JP2006135837A (ja) * 2004-11-09 2006-05-25 Nec Access Technica Ltd テレビ電話
US20070035628A1 (en) * 2005-08-12 2007-02-15 Kunihiko Kanai Image-capturing device having multiple optical systems

Also Published As

Publication number Publication date
JP2007263926A (ja) 2007-10-11
US20070229797A1 (en) 2007-10-04
US7764321B2 (en) 2010-07-27

Similar Documents

Publication Publication Date Title
JP4444927B2 (ja) 測距装置及び方法
US7706674B2 (en) Device and method for controlling flash
JP4644883B2 (ja) 撮像装置
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
JP4727534B2 (ja) 撮像装置
JP2007311861A (ja) 撮影装置及び方法
JP4657960B2 (ja) 撮像方法および装置
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2005241805A (ja) オートフォーカス装置及びそのプログラム
JP2011075675A (ja) 複眼撮像装置
US7609319B2 (en) Method and apparatus for determining focusing position
JP2007233113A (ja) 測距装置及び方法
US20070195190A1 (en) Apparatus and method for determining in-focus position
JP2007235640A (ja) 撮影装置及び方法
JP4997043B2 (ja) 撮像装置、方法およびプログラム
JP4949717B2 (ja) 合焦位置決定装置及び方法
JP2007212723A (ja) 合焦位置決定方法および装置
JP4925168B2 (ja) 撮像方法および装置
JP4750063B2 (ja) 撮像装置および撮像方法
JP4767904B2 (ja) 撮像装置及び撮像方法
JP5030883B2 (ja) ディジタル・スチル・カメラおよびその制御方法
JP2007226141A (ja) 撮影装置及び方法
JP4823964B2 (ja) 撮像装置及び撮像方法
JP4905797B2 (ja) 撮像装置及び撮像方法
JP4756005B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090820

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090820

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090924

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20091105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4444927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees