JP4717867B2 - 撮影装置及び撮影方法 - Google Patents

撮影装置及び撮影方法 Download PDF

Info

Publication number
JP4717867B2
JP4717867B2 JP2007271203A JP2007271203A JP4717867B2 JP 4717867 B2 JP4717867 B2 JP 4717867B2 JP 2007271203 A JP2007271203 A JP 2007271203A JP 2007271203 A JP2007271203 A JP 2007271203A JP 4717867 B2 JP4717867 B2 JP 4717867B2
Authority
JP
Japan
Prior art keywords
light
angle
auxiliary light
lens
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007271203A
Other languages
English (en)
Other versions
JP2008146024A5 (ja
JP2008146024A (ja
Inventor
宗一郎 中尾
寿治 上野
敬夫 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007271203A priority Critical patent/JP4717867B2/ja
Priority to US11/979,610 priority patent/US8102465B2/en
Publication of JP2008146024A publication Critical patent/JP2008146024A/ja
Publication of JP2008146024A5 publication Critical patent/JP2008146024A5/ja
Application granted granted Critical
Publication of JP4717867B2 publication Critical patent/JP4717867B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタルスチルカメラ等の撮影装置に関し、特に被写体に向けて光を照射する撮影装置及び撮影方法に関するものである。
近年、デジタルカメラ等の撮影装置を使用して、所定の対象物の三次元形状を測定する様々な方法が提案されている。このような方法としては、複数又は1つの撮影装置によって所定の対象物を異なる方向から撮影し複数の画像データを取得して、それぞれ取得された画像データにおいて共通して写っている点(以下、基準点という)を特定し、三角測量の原理に従って基準点までの距離を算出することにより、所定の対象物の三次元形状を推測するステレオマッチング法がある。基準点を特定する方法としては、画像データ中から、所定の対象物の特徴点等を人が目視により指定する方法と、撮影時に所定の対象物にスポット光やスリット光等のパターン光を照射して、照射されたスポット光による点や、スリット光による直線等を基準点とする方法等がある。
また三次元形状の測定方法には、撮影時に被写体に向けて特定のパターン光等を照射し、パターン光の光軸と同方向及び異なる方向から所定の対象物をそれぞれ撮影して、画像データを取得し、取得された画像データにおいてパターン光の歪み等の形状変化を解析することによって所定の対象物の形状を推測するもの等もある(特許文献1)。
一方、一般に提供されている撮像装置として、CMOS型やCCD型のイメージセンサを用いたデジタルカメラが提供されている。このようなイメージセンサを用いたデジタルカメラにおいては、イメージセンサ上に結像された被写体像の結像状態を評価しながら撮影レンズの焦点調節(ピント調節)を行うのが一般的である。この結像状態の評価は、イメージセンサから画素毎に得られる画像信号が用いられ、例えば隣接画素間の信号レベルの差分を積算した評価値が最も高くなるように、撮影レンズの焦点調節が行われている。また、この他に、被写体画像から人物の顔部分の領域を特定した後、被写体の顔部分を利用して撮影レンズの焦点調節を行うものも提案されている(特許文献2)。
このように、イメージセンサからの撮像信号に基づいて撮影レンズの焦点調節を行う場合、夜間や暗い場所など被写体輝度が全体的に低くなる撮影条件下では、被写体自体が低コントラストとなることから、撮影レンズの焦点調節が適切に行われないことが多い。このような背景から、カメラ本体に補助光投光器を内蔵し、撮影レンズの焦点調節時に、補助光投光器から被写体に向けて補助光を照射することが提案されている(特許文献3)。このように補助光を被写体に向けて照射することで被写体輝度を高くでき、撮影レンズの焦点調節が適切に行えるようになる。
特開2006−23131号公報 特開2004−317699号公報 特開2003−98579号公報
しかしながら上記のようにパターン光を照射して所定の対象物を撮影する方法では、光を照射したくない被写体にも光が照射されてしまう虞がある。例えば人物顔面の三次元形状を測定する場合等には、基準点となる光が人物の目に照射されてしまう虞があり、目に光が照射されると、眩しさを感じさせてしまうという問題がある。
また被写体中の人物などの顔部分を用いて撮影レンズの焦点調節を行うデジタルカメラの場合、上述した補助光は必然的に顔部分を照射することになるので、人物などの目に補助光が入り込み、大変眩しく感じるという欠点がある。
本発明はかかる事情に鑑みてなされたものであり、撮影時に照射される光を、被写体に眩しいと感じさせないようにする撮影装置及び方法を提供することを目的とするものである。
本発明の撮影装置は、被写体を撮像して画像データを取得する撮像手段と、
撮影時に、前記被写体に向けて光を照射する光照射手段と、を備えてなる撮影装置において、
前記画像データから人物又は動物の目を検出する目検出手段と、
該目検出手段により検出された目以外を照射するように前記光の照射条件を変更する光制御手段と、を備えていることを特徴とするものである。
なお本発明の撮影装置においては、前記光照射手段が、前記被写体各部までの距離を計測するときの計測用の光を照射するものであってもよい。
また本発明の撮影装置は、被写体を撮像して画像データを取得する撮像手段と、
撮影時に、前記被写体に向けて三次元形状測定用のパターン光を照射する光照射手段と、を備えてなる撮影装置において、
前記画像データから人物又は動物の目を検出する目検出手段と、
該目検出手段により検出された目以外を照射するように前記パターン光の照射条件を変更する光制御手段と、を備えていることを特徴とするものである。
なお本発明において「照射条件」とは、光の照射範囲、照射位置又はパターン形状を決定するものである。
また本発明の撮影装置は、撮影レンズにより撮像素子に被写体光を入射させ、前記撮像素子で光電変換して得られる画像信号をデジタルデータに変換して記憶する撮影装置において、前記デジタルデータに基づき被写体中の人物または動物の顔画像を検出し、顔画像の位置を特定する顔画像位置特定手段と、前記顔画像位置特定手段で特定された顔画像から目の位置を特定する目の位置特定手段と、前記顔画像位置特定手段で特定された顔画像を含むエリアであって、前記目の位置を避けた位置に向けて狭角補助光を照射する補助光照射手段と、前記顔画像を含むエリアのデジタルデータに基づき合焦位置を特定し、前記撮影レンズの焦点を調節する焦点調節手段と、を備えたことを特徴とするものである。
なお本発明の撮影装置においては、前記補助光照射手段は、前記撮影レンズの焦点を調節するときに点灯する光源と、前記光源からの光を狭角補助光とする狭角レンズと、前記光源又は狭角レンズを撮影光軸に略直交する面上で移動させて前記狭角補助光の照射方向を調整する照射方向調整部とを有するものであってもよい。
本発明の撮影装置においては、前記補助光照射手段は、前記光源からの光の照射角度を変更して広角補助光とする補助光照射角度変更部を有し、前記顔画像位置特定手段が顔画像を検出不能なときに前記補助光照射角度変更部により広角補助光を被写体に照射するものであってもよい。
また本発明の撮影装置においては、前記補助光照射角度変更部を、前記光源からの光を広角補助光として被写体を照射する広角レンズと、前記狭角レンズまたは前記広角レンズを前記光源の光軸上に選択的に位置させるレンズ移動部とから構成してもよい。
また本発明の撮影装置においては、前記補助光照射角度変更部を、前記光源または前記狭角レンズを撮影光軸向上で移動させる移動部から構成してもよい。
また本発明の撮影装置においては、前記狭角レンズをズームレンズから構成し、前記補助光照射角度変更部を前記狭角レンズのズーム倍率を変更するズーム倍率変更手段から構成してもよい。
また本発明の撮影装置においては、前記補助光照射手段による前記広角補助光の照射中に、前記顔画像位置特定手段が顔画像を検出不能である場合に、前記補助光照射手段は予め定めた位置に狭角補助光を照射してもよい。
また本発明の撮影装置においては、前記補助光照射手段により狭角補助光を照射して前記撮影レンズの焦点の調節を行っているときに、前記目の位置特定手段は前記目の位置を特定し、この特定した目の位置を避けるように狭角補助光の照射方向を変更してもよい。
本発明の撮影方法は、撮影時に、被写体に向けて三次元形状測定用のパターン光を照射して前記被写体を撮影する撮影方法において、
前記被写体を撮像して取得した画像データから人物又は動物の目を検出し、
該検出された目以外を照射するように前記パターン光の照射条件を変更することを特徴とする。
また、本発明の撮影方法は、撮影レンズにより撮像素子に被写体光を入射させ、前記撮像素子で光電変換して得られる画像信号をデジタルデータに変換して記憶する撮影方法において、前記デジタルデータに基づき被写体中の人物または動物の顔画像を検出し、顔画像の位置を特定する顔画像位置特定工程と、前記顔画像位置特定工程で特定された顔画像から目の位置を特定する目の位置特定工程と、前記顔画像位置特定工程で特定された顔画像を含むエリアであって、前記目の位置を避けた位置に向けて狭角補助光を照射する補助光照射工程と、前記顔画像を含むエリアのデジタルデータに基づき合焦位置を特定し、前記撮影レンズの焦点を調節する焦点調節工程とを有することを特徴とする。
本発明の撮影装置及び撮影方法によれば、画像データから目を検出し、検出された目以外を照射するように光の照射条件を変更するので、光が目に照射されるのを防止することができ、人物が眩しさを感じるのを防止することができる。
また本発明の別の撮影装置及び撮影方法によれば、夜間や暗い場所での撮影時において撮影レンズの焦点調節を行うときには、被写体画像から人物又は動物の目の位置を特定し、特定された人物や動物の目の位置を避けた位置に向けて補助光を照射するから、撮影レンズの焦点調節時に照射される補助光を被写体中の人物や動物の目に入射させずに済む。これにより、被写体中の人物や動物は補助光が眩しいと感じることがない。
また、人物や動物の顔画像が検出できない場合には、広角補助光を照射することで確実に人物や動物の目の位置を特定することができる。これにより、特定された人物や動物の目の位置を避けた位置に向けて狭角補助光を照射することで、被写体中の人物や動物に合わせた撮影レンズの焦点調節を行うことができる。
また、広角補助光を被写体に向けて照射しているときに、人物や動物の顔画像が特定できない場合は、例えば画角の中央エリアなど、予め決められた位置に狭角補助光を照射するので、被写体中に人物や動物が存在しない、つまり夜間や暗い場所の風景撮影の場合でも、撮影レンズの焦点調節を行うことができる。
また、狭角補助光を照射して合焦調節を行っているときにも、目の位置の特定を行うことで、撮影の途中で被写体となる人物や動物が増えた場合や、人物や動物の位置が変化した場合であっても、確実に人物や動物の目の位置を特定することができる。これにより、特定された人物や動物の目の位置を避けた位置に向けて狭角補助光を照射することになるから、被写体中の人物や動物に合わせた撮影レンズの焦点調節を行うことができる。
以下、本発明にかかる第一の実施形態の撮影装置を、図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮影装置として光照射手段を備えたデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、光照射手段を備えていれば、例えば、デジタルビデオカメラ、カメラ付き携帯電話、カメラ付きPDA等、電子撮影機能を備えた他の電子機器に対しても適用可能である。図1は本実施形態のデジタルカメラ1の構成の概略を示すブロック図である。
本実施形態のデジタルカメラ1は、図1に示す如く、CPU10と、撮像部(撮像手段)2と、画像処理部3と、記録部4と、操作部5、液晶モニタ(表示手段)6と、対象物検出部(対象物検出手段)7と、光照射部(光照射手段)8と、光制御部(光制御手段)9と、記録媒体読取部11とから概略構成されている。
CPU10は、操作部5からの入力に基づいてデジタルカメラ1を総括的に制御するものであり、操作部5からの指示に応じて記憶部4に記憶されているデータを読み出す読出部として機能すると共に、後述するレンズ駆動部のズーミング動作、焦点調節(AF)動作及び自動露出調節(AE)動作等を制御する動作制御部や液晶モニタ6における表示を制御する表示制御部としても機能する。
液晶モニタ6は、外部記録媒体12に記録された画像、各種設定に必要なメニュー操作画面、撮影時においてはCCD22によって取得された画像情報のスルー画等が表示される。
撮像部2は、撮影レンズ21、不図示のレンズ駆動部、撮像素子としてのCCD22、不図示のCCD駆動部、アナログ処理部23及びA/D変換部24等を備えている。撮影レンズ21を介してCCD22の受光面に結像された被写体像は、CCD22上の各センサで入射光量に応じた量の信号電荷に変換される。なおCCD22はシャッターゲートパルスのタイミングによって各センサの電荷蓄積時間(シャッタースピード)を制御する、いわゆる電子シャッター機能を有している。
各センサに蓄積された信号電荷は、CCD駆動部から加えられるパルスに基づいて信号電荷に応じた電圧信号(アナログ撮像信号)として順次CCD22から読み出される。CCD22から出力されたアナログ撮像信号は、アナログ処理部23に送られる。
アナログ処理部23は、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、このアナログ処理部23において、相関二重サンプリング(CDS)処理並びにR,G,Bの各色信号に色分離処理され、各色信号の信号レベルの調整(プリホワイトバランス処理)が行われる。
アナログ処理部23から出力された信号は、A/D変換部24によりデジタル信号に変換された後、画像処理部3に送られる。なおCCD駆動部、アナログ処理部23及びA/D変換部24は、CPU10の指令に従ってタイミングジェネレータから加えられるタイミング信号により同期して駆動されるようになっている。
画像処理部3は、輝度・色差信号生成回路、ガンマ補正回路、シャープネス調整回路、コントラスト補正回路、ホワイトバランス調整回路等の画質調整回路を含むデジタルシグナルプロセッサ(DSP)で構成されており、CPU10からの指令に基づいて読み出された、記憶部4に記憶された画質調整パラメータの設定値に従って画像信号を処理する。
記憶部4は、各種データを記憶可能な記録媒体であり、磁気的又は光学的記録媒体、半導体メモリ等によって構成されている。記憶部4は、デジタルカメラを作動させるためのシステムプログラムを記憶していると共に、画像処理が施された画像データを格納し、記憶部4に格納された画像データは、撮影画像を表示出力する場合に、CPU10の指令に従って記憶部4から読み出されて上述した表示制御部(CPU)に出力される。
表示制御部に送られた画像データは表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換された後、液晶モニタ6に出力される。このようにして画像データの画像内容は液晶モニタ6の画面上に表示される。
なお記憶部4内に格納された画像処理済の画像データは、CCD22から出力され上述の画像処理部3によって画像処理された画像データによって定期的に書き換えられ、その画像データから生成される映像信号が液晶モニタ6に供給されることにより、CCD22から入力される画像がリアルタイムに液晶モニタ6に表示される。ユーザは、液晶モニタ6に映し出される画像(スルー画)によって被写体画像を確認することができる。
操作部5は、電源ボタン50、シャッタボタン51等、各種設定や指示等を行なうボタン等の入力部を備える。ユーザが所望の被写体画像を得て、シャッタボタン51から画像記録を指示すると、その時に記憶部4に格納されている画像データは、圧縮/伸張回路(図示しない)によってJPEG等の所定の形式に圧縮され、記録媒体読取部11を介して外部記録媒体12に記録される。
外部記録媒体12はxDピクチャーカード(登録商標)、スマートメディア(登録商標)、PCカード、コンパクトフラッシュ(登録商標)、磁気ディスク、光ディスク、光磁気ディスク、メモリスティック(登録商標)等を使用でき、電子的、磁気的、若しくは光学的、又はこれらの組合せによる方式に従って読み書き可能な種々の媒体を用いることができる。このとき使用される媒体に応じた信号処理手段とインターフェースが適用される。また画像を保存する手段は、デジタルカメラ1本体に着脱可能な記録媒体に限られるものではなく、デジタルカメラ1本体に内蔵された記録部4であってもよい。
対象物検出部7は、記憶部4内に格納された画像データから所定の対象物を検出するものであり、本実施形態では、所定の対象物を顔とする顔検出部71と、所定の対象物を目とする目検出部72とを備えている。顔検出部71は、顔に含まれる顔の特徴を有する領域(例えば肌色を有する、目を有する、顔の形状を有する等)を顔領域として検出し、目検出部73は、検出された顔領域から目を検出して、それぞれ検出された対象物の大きさ、位置、形状等の情報を算出する。なお顔検出処理としては、例えば特開2005−242640号公報等に記載されている従来公知の処理を適用することができる。
光照射部8は、被写体に向けて三次元形状測定用のパターン光Pを照射するものである。ここで図2に本実施形態の光照射部8の一実施形態の概略構造図を示す。本実施形態の光照射部8は、単色光源から出た光束で液晶パネルを照明しこの上に表示された画像を被写体に投影するものであり、図2に示す如く、例えば高輝度で発光効率の良い超高圧水銀ランプやメタルハライドランプ等の光源81と、光源81から出た光を反射させる楕円鏡82(又は放物面鏡)と、光束を分割及び合成することで均一な照明を実現する2枚のインテグレータレンズ83と、光を同じ方向の直線偏光に揃えるための偏光変換素子84と、透明な2枚の板の間に、液晶と偏光フイルムを挟んだ素子からなり、液晶を使って画素毎の透過率を制御することによりパターン光Pの照射形状を表示する液晶パネル85と、被写体へ画像すなわちパターン光Pを拡大投影する投写レンズ86とで概略構成され、光源81から発生させた光束で液晶パネル85を照明して、液晶パネルに表示された画像すなわちパターン光Pを被写体に向けて照射する。
なお本実施形態のパターン光Pは、三角形状の格子点を縦横に配列したものとするが(図5(d)参照)、円や四角形状の格子点、格子状の線、同心円等、多種多様の形状が可能であり、これらの形状データは記憶部4に記憶することができる。また本実施形態の光照射部8は単色のパターン光Pを照射するものとしたが、本発明はこれに限られるものではなく、例えば赤(R)、緑(G)、青(B)の3つの色を組み合わせたカラーのパターン光を照射するものであってもよい。この場合、例えば3板式液晶プロジェクタ等の公知のものを使用することができる。
また光照射部8が上記カラーのパターン光を照射するものである場合には、パターン光を撮影画像に鮮明に表示するため、パターン光が照射される対象物に応じてパターン光の色を変化可能とし、例えば人物の顔に対してパターン光を照射するときに、青色や緑色等のパターン光を照射する。
光制御部9は、対象物検出部7の検出結果に応じてパターン光Pの照射条件を変更するものであり、本実施形態では上述の液晶パネル85に表示されたパターン光の範囲、位置、形状等を変えることによって、パターン光Pの照射する箇所と照射しない箇所を制御する。このとき照射箇所を特定するために、光照射部8の照射範囲と、撮影部2の撮影視野とが、常に対応するように制御する。
この場合、パターン光Pの形状や位置の変更は液晶パネル上でパターン光の照射形状や位置を変化させることにより行い、パターン形状は記憶部4に記憶された複数の形状データから1つを選択して読み出し、読み出された形状データに応じて液晶パネル85の表示画像を変更させることにより行なってもよい。本実施形態のデジタルカメラ1はこのように構成される。
次に、以上の構成のデジタルカメラ1において撮影時に行われる一連の処理について説明する。図3はデジタルカメラ1の一連の処理のフローチャートである。デジタルカメラ1の電源ボタン50がオンされると、まず図3に示す如く、CPU10は、動作モードが撮影モードであるか再生モードであるか判別する(ステップS1)。再生モードの場合(ステップS1;再生)、再生処理が行われる(ステップS10)。この再生処理は、記録媒体読取部11が外部記録媒体12に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像を液晶モニタ6に表示させるための処理である。再生処理が終了したら、CPU10はデジタルカメラ1の電源ボタン50によってオフ操作がなされたか否かを判別し(ステップS9)、オフ操作がなされていなければ(ステップS9;NO)、CPU10は処理をステップS1へ移行し、オフ操作がなされていたら(ステップS9;YES)、デジタルカメラ1の電源をオフし、処理を終了する。
一方、ステップS1において動作モードが撮影モードであると判別された場合(ステップS1;撮影)、CPU10はスルー画の表示制御を行う(ステップS2)。次に、CPU10はシャッタボタン51が半押しされたか否かを判別する(ステップS3)。半押しがされていない場合(ステップS3;NO)、CPU10はステップS3の処理を繰り返す。半押しされた場合(ステップS3;YES)、光照射処理を行う(ステップ4)。
ここで図4に光照射処理のフローチャート、図5に光照射制御を説明する図を示す。まず、図4に示す如く、CCD22によりプレ撮影されフレームメモリ68に格納されたプレ画像データを読み出す(ステップS21)。ここで「プレ撮影」はシャッタボタン51が半押されることによって発生する半押し信号を検出したCPU10がCCD22に実行させる撮影をいい、「プレ画像」は、プレ撮影によって撮影され、記憶部4に格納された画像データに基づいた画像をいう。図5(a)は読み出されたプレ画像の一例である。
次に、得られたプレ画像(図5(a)参照)に基づいて、CPU10はAE/AWB処理(ステップS22)、AF処理(ステップS23)を順に行い、さらに図5(b)に示す如く、プレ画像において顔検出部71が顔の検出を行なう(ステップS24)。そしてCPU10は顔が有るか否かを判別し(ステップS25)、顔が有ると判別された場合(ステップS25;YES)は、図5(c)に示す如く、検出された顔領域Fにおいて目検出部72が目Eの検出を行う(ステップS26)。そしてCPU10は顔領域Fに目が有るか否かを判別し(ステップS27)、目がないと判別された場合(ステップS27;NO)は、光照射部7が記憶部4に記憶された三角形状の格子点を縦横に配列したパターン光Pを被写体に向かって照射する(ステップS29)。
一方ステップS25にて、顔がないと判別された場合(ステップS25;NO)も、上記と同様に、光照射部7が記憶部4に記憶された三角形状の格子点を縦横に配列したパターン光Pを被写体に向かって照射する(ステップS29)。
またステップS27にて目Eが有ると判別された場合(ステップS27;YES)は、光制御部9が、図5(d)に示す如く、パターン光Pが目E以外を照射するように、すなわち目Eを照射しないように、パターン光Pの照射範囲(照射条件)を図5(d)のA領域を除く範囲に変更する(ステップS28)。そして変更された照射範囲のパターン光Pを被写体に向かって照射する(ステップS29)。これにより、プレ画像中に人物の目がある場合に、光照射部8が人物の目にパターン光Pを照射するのを防止できるので、人物が眩しさを感じることを防止することができる。
このようにして光照射処理を行ったら(ステップS4)、パターン光Pを照射した状態で、図3に示す如く、CPU10はシャッタボタン51が全押しされたか否かを判別する(ステップS5)。なおパターン光Pが照射されてからシャッタボタン51が全押しされるまでの間は、上述のステップS26からステップS28の処理を繰り返し行うことにより、目の位置が移動した場合には、移動後の目の位置に応じてパターン光の照射条件を変更しパターン光の調整を行なう。
ステップS5にて、シャッタボタン51が全押しされていない場合は(ステップS5;NO)CPU10はシャッタボタン51が半押しされたか否かを判別する(ステップS6)。そして半押されていない場合は(ステップ6;NO)CPU10はステップS3へ処理を移行し、半押されている場合は(ステップS6;YES)CPU10はステップ5へ処理を移行する。
またシャッタボタン51が全押しされた場合は(ステップS5;YES)CPU10は撮影処理を行う(ステップS7)。このとき被写体には、光照射部8からパターン光Pが照射されているので、撮影によって得られた撮影画像には三次元形状測定用のパターン光Pが写る。
なお撮影処理とは、CCD22の光電面に結像された被写体像に基づいたアナログ画像データがA/D変換されて画像処理部3によって各種信号処理が施されるまでの処理を言う。また、撮影処理として、更に信号処理が施された画像データに対して圧縮/伸長処理部(図示しない)によって圧縮処理が施されて画像ファイルが生成されてもよい。
このように撮影処理が終了すると、CPU10は撮影画像を液晶モニタ6に表示する処理を行い、またその撮影画像を外部記録媒体12に記録する(ステップS8)。そしてCPU10はデジタルカメラ1の電源(図示せず)のオフ操作がなされたか否かを判別し(ステップS9)、オフ操作がなされていたら(ステップS9;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS9;NO)、ステップS1へ処理を移行する。このようにしてデジタルカメラ1による撮影処理が行われる。
なお本実施形態ではシャッタボタン51が半押しされてから撮影が実行されるまで、パターン光を照射するものとしたが、本発明はこれに限られるものではなく、例えばシッターボタン51が全押しされたときにのみ照射してもよい。
本実施形態によれば、所定の対象物がパターン光を照射したくないものであるときには、光制御部9が、所定の対象物以外を照射するようにパターン光の照射条件を変更することにより、パターン光を照射したくないものにパターン光が照射されるのを防止することができる。また所定の対象物のみにパターン光を照射したいときには、光制御部9が、所定の対象物のみにパターン光を照射するようにパターン光の照射条件を変更することにより、パターン光を照射したいもののみにパターン光を照射することができる。
また所定の対象物が人物の目であり、パターン光が人物の目以外を照射するように照射条件を変更する場合には、パターン光が人物の目に照射されるのを防止することができるので、人物が眩しさを感じることを防止することができる。
次に本発明にかかる別の実施形態のデジタルカメラ1−Aについて説明する。本実施形態のデジタルカメラ1−Aは上述の実施形態のデジタルカメラ1と同様の箇所については同符号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。図6は本実施形態のデジタルカメラ1−Aの構成の概略を示すブロック図である。
本実施形態のデジタルカメラ1−Aは、上述の実施形態のデジタルカメラ1とは光制御部9を備えていない点が異なっている。また本実施形態のデジタルカメラ1−Aは、図6に示す如く、プレ表示部13及び照射パターン確認ボタン52とを備えている。
プレ表示部13は、撮影前に、光照射部8が照射するパターン光Pの照射形状すなわち液晶パネル85の表示画像(以下、パターン光P’とする)をスルー画と重ねて液晶モニタ6に表示させるものであり、照射パターン確認ボタン52は、プレ表示部13を作動させるものである。照射パターン確認ボタン52は、一度押されるとON状態となり、ON状態から再度押されるとOFF状態となる。
次に上記構成のデジタルカメラ1−Aにおいて撮影時に行われる一連の処理について説明する。図7はデジタルカメラ1の一連の処理のフローチャート、図8にプレ表示部13によるプレ表示を説明する図である。デジタルカメラ1−Aの電源ボタン50がオンされると、まず図7Aに示す如く、CPU10は、動作モードが撮影モードであるか再生モードであるか判別する(ステップS31)。
再生モードの場合(ステップS31;再生)、再生処理が行われる(ステップS47)。この再生処理は、記録媒体読取部11が外部記録媒体12に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像を液晶モニタ6に表示させるための処理である。再生処理が終了したら、図7Bに示す如く、CPU10はデジタルカメラ1−Aの電源ボタン50によってオフ操作がなされたか否かを判別し(ステップS43)、オフ操作がなされていなければ(ステップS43;NO)、CPU10は処理をステップS31へ移行し、オフ操作がなされていたら(ステップS43;YES)、デジタルカメラ1の電源をオフし、処理を終了する。
一方、図7AのステップS31において動作モードが撮影モードであると判別された場合(ステップS31;撮影)、CPU10はスルー画(図8(a)参照)の表示制御を行う(ステップS32)。次に、CPU10は照射パターン確認ボタン52がONされたか否かを判別する(ステップS33)。照射パターン確認ボタン52がONされていない場合(ステップS33;NO)、CPU10はステップS35へ処理を移行し、シャッタボタン51が半押しされたか否かを判別する(ステップS35)。
一方、ステップS33にて照射パターン確認ボタン52がONされた場合(ステップS33;YES)、プレ表示部13が、図8(b)に示す如く、スルー画と、パターン光P’を重ねてプレ表示する(ステップS34)。
こうすることにより、ユーザが撮影前に、撮影時に光照射部8が照射するパターン光Pの照射範囲、照射位置、パターン形状等の照射条件に基づく照射形状を確認することができるので、図8(b)に示す如く、スルー画に人物がいて、該人物の目にパターン光P’が重なって表示(図8(b)中のD参照)されている場合に、ユーザが、図8(c)に示す如く、人物の目にパターン光P’が重ならないように撮影画角を変更させることができる。これによりパターン光Pの照射条件を変更しなくても、撮影時に光照射部8が照射するパターン光Pが人物の目に照射されるのを防止できる。なお光照射部8の光軸と、撮像部2のレンズ21の光軸とは連動するように構成される。
そしてプレ表示部13により液晶モニタ6へのプレ表示が行なわれると、CPU10はステップS35へ処理を移行し、シャッタボタン51が半押しされたか否かを判別する(ステップS35)。ステップS35にてCPU10が、シャッタボタン51が半押されていないと判別した場合(ステップS35;NO)には、CPU10はステップS33へ処理を移行して、以降の処理を繰り返す。
一方、シャッタボタン51が半押しされたと判別した場合(ステップS35;YES)には、CCD22によりプレ撮影されフレームメモリ68に格納されたプレ画像データを読み出す(ステップS36)。次に、得られたプレ画像(図8(a)参照)に基づいて、CPU10はAE/AWB処理(ステップS37)、AF処理(ステップS38)を順に行う。
そして次に、図7Bに示す如く、CPU10はシャッタボタン51が全押しされたか否かを判別し(ステップS39)、シャッタボタン51が全押しされた場合(ステップS39;YES)には、光照射部8が被写体に向けてパターン光Pを照射し(ステップS40)、CPU10は撮影処理を行う(ステップS41)。このとき被写体には、光照射部8からパターン光Pが照射されているので、撮影によって得られた撮影画像には三次元形状測定用のパターン光Pが写る。
このように撮影処理が終了すると、CPU10は撮影画像を液晶モニタ6に表示する処理を行い、またその撮影画像を外部記録媒体12に記録する(ステップS42)。そしてCPU10はデジタルカメラ1の電源ボタン50のオフ操作がなされたか否かを判別し(ステップ43)、オフ操作がなされていたら(ステップS43;YES)、デジタルカメラ1−Aの電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS43;NO)、ステップS31へ処理を移行する。
またステップS39にてシャッタボタン51が全押しされていない場合(ステップS39;NO)は、CPU10はシャッタボタン51が半押しされたか否かを判別し(ステップS44)、シャッタボタン51が半押しされていると判別した場合(ステップS44;YES)には、CPU10はステップS39へ処理を移行し、以降の処理を繰り返す。一方、ステップ44にてシャッタボタン51が半押しされていないと判別した場合(ステップS44;NO)には、CPU10は照射パターン確認ボタン52がOFFされたか否かを判別する(ステップS45)。
照射パターン確認ボタン52がOFFされたと判別した場合(ステップS45;YES)には、プレ表示部13は液晶モニタ6へのプレ表示を解除してスルー画のみを表示させ(ステップS46)、CPU10はステップS43へ処理を移行する。一方、照射パターン確認ボタン52がOFFされていないと判別した場合(ステップS45;NO)には、CPU10は、図7Aに示す如く、ステップS34へ処理を移行し、プレ表示部13は液晶モニタ6へ引き続きプレ表示を行なう。このようにしてデジタルカメラ1−Aによる撮影処理が行われる。
本実施形態によれば、撮影前に、パターン光を画像データと重ねて液晶モニタ6にプレするので、ユーザが撮影前に、撮影時にパターン光の照射範囲、照射位置、パターン形状等の照射条件に基づく照射形状を確認することができる。これにより例えば液晶モニタ6に表示された画像中に人物がいて、該人物の目にパターン光が重なって表示されているとき等に、ユーザが人物の目にパターン光が重ならないように撮影画角を変更させることができるので、パターン光Pの照射条件を変更しなくても、撮影時にパターン光が人物の目に照射されるのを防止することができる。
次に本発明にかかるさらに別の実施形態のデジタルカメラ1−Bについて説明する。本実施形態のデジタルカメラ1−Bは上述の実施形態のデジタルカメラ1、1−Aと同様の箇所については同符号で示して説明を省略し、異なる箇所についてのみ詳細に説明する。図9は本実施形態のデジタルカメラ1−Bの構成の概略を示すブロック図である。本実施形態のデジタルカメラ1−Bは、上述の実施形態のデジタルカメラ1−Aに、さらに光変更部14とパターン光変更ボタン53を光変更手段として備えたものである。
光変更部14は、パターン光Pの照射条件を変更するものであり、パターン光変更ボタン53の押下によって作動する。ここで図10に本実施形態のデジタルカメラ1−Bの背面図を示す。デジタルカメラ1−Bの背面は、図10(a)に示す如く、液晶モニタ6の右上方に電源ボタン50配置され、液晶モニタ6の右方に上から照射パターン確認ボタン52、パターン光変更ボタン53が順に配置されている。このパターン光変更ボタン53が押下されるごとに、光変更部14は、記憶部4に記憶されたパターン光Pの複数のパターン形状を順に読み出し、読み出された形状データに応じて液晶パネル85の表示画像(パターン光P’)を変更させてパターン形状を変更する。
次に上記構成のデジタルカメラ1−Bにおいて撮影時に行われる一連の処理について説明する。図11はデジタルカメラ1−Bの一連の処理のフローチャート、図12にパターン光の変更を説明する図である。なお図11A、図11Bは図7A、図7Bと概略同じ処理であるため、重複する箇所は同じ番号で示して説明を省略する。
本実施形態のデジタルカメラ1−Bは、図12(b)の如く、ステップS34にて液晶モニタ6にプレ表示がされると、CPU10は、パターン光変更ボタン53が押されたか否かを判別する(ステップS50)。パターン変更ボタン53が押されたと判別すると(ステップS50;YES)、光変更部14が上述のようにパターン形状を変更し(ステップS51)、変更されたパターン照射形状とスルー画とが重ねてプレ表示される(ステップS34)。
このときデジタルカメラ1−Bのユーザは、人物の目にパターン光P’が重なって表示(図12(b)中のD参照)されている場合に、パターン光変更ボタン53を押下することによって記憶部4に記憶されたパターン形状を順に選択して変更することができるので、例えば、図12(c)に示す如く、パターン形状を縦横に配列された三角形状の格子点から、格子状の線へ変更することにより人物の目に重ならない形状のパターン光P’’を選択することができる。これにより撮影時に光照射部8が照射するパターン光Pが人物の目に照射されるのを防止できる。
一方、ステップS50にてパターン光変更ボタン53が押されていない場合(ステップS50;NO)には、CPUはステップS35へ処理を移行し、以降の処理を行う。なおステップS35以降の処理は、図7と同様であるため、説明を省略する。このようにしてデジタルカメラ1−Bによる撮影処理は行われる。
なお本実施形態の光変更部14は、パターン形状を変更するものとしたが、本発明はこれに限られるものではなく、例えばパターン光の照射位置を変更してもよい。ここで光変更部14とパターン光変更ボタン53の別の実施形態を説明する。本実施形態のパターン光変更ボタンは、図10(b)に示す如く、上下左右に押下可能な十字キー53−Aと、左右に押下可能な左右キー53−Bとを備える。
本実施形態の光変更部14’は、図12(b)に示す如く、液晶モニタ6にプレ表示がされた状態で十字キー53−Aの例えば下が押されたときに、図12(d)に示す如く、例えば所定の画素分だけパターン光P’を下方向に移動させる。これによりユーザが人物の目に重ならない位置までパターン光P’を移動させることができる。なお十字キー53−Aの上左右についてもパターン光P’をそれぞれ上左右方向に移動させることができる。
左右キー53−Bの例えば右が押されたときには、上述の光照射部8の光源81の光軸を中心にしてパターン光P’を右回りに所定角度回転させる。これによりユーザが人物の目に重ならない位置までパターン光P’を回転移動させることができる。なお左右キー53−Bの左についても左回りに回転移動させることができる。
本実施形態によれば、例えば液晶モニタ6に表示された画像中に人物がいて、該人物の目にパターン光が重なって表示されているとき等に、デジタルカメラ1−Bのユーザが、画角を変更させることなく、人物の目にパターン光が重ならないようにパターン光の照射条件を変更することができる。
なお上述の実施形態の光照射部8は、上述したような構成としたが、本発明はこれに限られるものではなく、例えば光源の前方に、任意の形状のスリットを有するスリット板を配設してもよい。この場合、機械的に、例えばモータ等によってスリット板を移動させることによりパターン光の照射位置を変更させる。
また上述の実施形態では、光制御部(光制御手段)9が、パターン光が人物の目以外を照射するように照射条件を変更するものとしたが、本発明はこれに限られるものではなく、例えば、美術館に展示されている彫像等の三次元形状を測定する際に、対象物検出手段により前記彫像を検出し、光制御手段が、パターン光が検出された彫像のみを照射するように照射条件を変更してもよい。こうすることにより、彫像の背後にパターン光を照射したくない絵画等がある場合に、該絵画等にパターン光が照射されるのを防止することができる。
また対象物検出手段により顔を検出し、光制御手段が、パターン光が検出された顔のみを照射するように照射条件を変更することにより、パターン光が常に顔に照射するようにパターン光を顔に追従させることができる。
本発明の撮影装置は、被写体を撮像して画像データを取得する撮像手段と、
該取得された画像データを表示する表示手段と、
撮影時に、前記被写体に向けて三次元形状測定用のパターン光を照射する光照射手段と、を備えてなる撮影装置において、
撮影前に、前記パターン光の照射形状を前記画像データと重ねて前記表示手段に表示するプレ表示手段を備えていることを特徴とするものである。
上記に記載の撮影装置は、前記パターン光の照射条件を任意に変更可能な光変更手段を備えていてもよい。
また本発明の撮影方法は、撮影時に、被写体に向けて三次元形状測定用のパターン光を照射して前記被写体を撮影する撮影方法において、
撮影前に、前記被写体を撮像して画像データを取得し、
該取得した画像データを表示手段に表示し、
前記パターン光の照射形状を前記画像データと重ねて前記表示手段にプレ表示することを特徴とする。
上記の撮影装置及び撮影方法によれば、撮影前に、パターン光の照射形状を画像データと重ねて表示手段にプレ表示するので、ユーザが撮影前に、撮影時のパターン光の照射条件に基づく照射形状を確認することができる。これにより例えば表示手段に表示された画像中に人物がいて、該人物の目にパターン光が重なって表示されているとき等に、ユーザが人物の目にパターン光が重ならないように撮影画角を変更することができるので、パターン光の照射条件を変更しなくても、撮影時にパターン光が人物の目に照射されるのを防止することができる。
また上記撮影装置が、パターン光の照射条件を任意に変更可能な光変更手段を備えている場合には、例えば表示手段に表示された画像中に人物がいて、該人物の目にパターン光が重なって表示されているとき等に、ユーザが、画角を変更することなく人物の目にパターン光が重ならないようにパターン光の照射条件を変更することができる。
次に本発明にかかる第二の実施形態の撮影装置としてのデジタルカメラ100について図面を参照して詳細に説明する。
図13及び図14に示すように、デジタルカメラ100は、カメラ本体111の前面に撮影レンズ112を有する沈胴式のレンズ鏡胴113を備えている。このレンズ鏡胴113は、使用時には図示位置に突出し、不使用時にはカメラ本体111の内部に収容される。また、カメラ本体111の前面には、ストロボ発光部115、ファインダ対物窓116、補助光窓117が設けられている。この補助光窓117は、夜間など暗い状況下で撮影レンズ112の焦点調節を行う際に、カメラ本体111の内部に設けられた補助光照射装置140からのAF補助光を被写体に向けて照射するために設けられている。
カメラ本体111の背面には、ファインダ接眼窓121、液晶表示器(LCD)122、および操作部123が設けられている。LCD122は、撮影した画像やスルー画像の他に、各種メニュー画面を表示する。操作部123は、撮像レンズ112のズームレンズ171(図17参照)をワイド側、テレ側に変倍するズーム操作ボタン124や、LCD122にメニュー画面を表示させる際や、選択内容を決定する際に操作されるメニューボタン125、およびメニュー画面内でカーソルを移動させる十字キー126などから構成される。また、カメラ本体111の側面には蓋127が設けられている。この蓋127は、メモリカード202(図17参照)が着脱自在に装填されるメモリカードスロットを覆う。
また、カメラ本体111の上面には、レリーズボタン130、電源ボタン131が設けられている。レリーズボタン130は、2段階押しのスイッチとなっている。LCD122による被写体のフレーミングの後に、レリーズボタン130を軽く押圧(半押し)すると、自動露出調節(AE)、自動焦点調節(AF)などの各種撮影準備処理が施される。この状態でレリーズボタン130をさらに押し込む(全押し)と、撮影準備処理が施された1画面分の撮像信号が画像データに変換された後、後述する画像処理および圧縮処理が施され、メモリカード202に記憶される。
カメラ本体100の内部には、補助光照射装置(補助光照射手段)140が組み込まれている。図15に示すように、補助光照射装置140は、発光部141と、水平方向調整機構(照射方向変更部)142と、垂直方向調整機構(照射方向変更部)143と、レンズユニット144と、移動機構(レンズ移動部)145とから構成されている。
発光部141は、LED(光源)150と、このLED150を保持する保持板151とから構成されている。また、この発光部141は、LED150の光軸が補助光窓117の中心と一致するように角調整機構142,143によって保持されている。以下では、LED150の光軸が、補助光窓117の中心と一致するときの発光部141の位置を基準位置として説明する。この発光部141は、水平方向調整機構142によってA方向又はB方向に、また、垂直方向調整機構143によって、C方向又はD方向に位置調整される。これら水平方向調整機構142及び垂直方向調整機構143の構成としては、例えばラックアンドピニオンとモータとの組み合わせが挙げられるが、これに限らず、発光部を水平方向及び垂直方向に移動させることができるものであればよい。
レンズユニット144は、2種類のレンズ155,156と、これらレンズを保持する保持枠157とから構成される。2種類のレンズ155,156は、広角用レンズ(以下、広角レンズ155)と狭角用レンズ(以下、狭角レンズ156)とが用いられる。広角レンズ155は、被写体中の人物や動物の顔部の位置を検出する時に用いられ、被写体全体を照明する。
以下では、広角レンズ155を使用したときのAF補助光を広角補助光S1として説明する。狭角レンズ156は、AF処理を行う際に広角補助光では不十分なときに用いられる。以下では、狭角レンズ156を使用したときのAF補助光を狭角補助光S2として説明する。図16に示すように、広角補助光S1を被写体に照射した場合、照射範囲は範囲R1となる。一方、狭角補助光S2を被写体に照射した場合、照射範囲は範囲R2となる。これにより、広角補助光S1を照射したときには、狭角補助光S2を照射したときに比べて照射角度が大きくなるので、狭角補助光S2が照射されたときの被写体輝度は、広角補助光S1を照射したときの被写体輝度よりも高くなる。
移動機構145は、レンズユニット144を中E方向又はF方向に移動させることで、使用するレンズを切り替える。例えば広角レンズ155を使用する時のレンズユニット144の位置(図15に示す実線の位置)を広角位置、狭角レンズ156を使用する時のレンズユニット144の位置を狭角位置(図15に示す二点差線の位置)とする。例えば、レンズユニット144が広角位置にある場合には、基準位置にあるLED150の光軸と、広角レンズ155の光軸とが一致する。同様にして、レンズユニット144が狭角位置にある場合には、基準位置にあるLED150の光軸と、狭角レンズ156の光軸とが一致する。これにより、広角レンズ155と移動機構145とは補助光照射角度変更部として機能する。この移動機構145としては、例えばラックアンドピニオンとモータとの組み合わせが挙げられる。移動機構145によって移動するレンズユニット144の位置は、図示しないフォトインタラプタ等によって検出される。
デジタルカメラ100の電気的構成を示す図17において、撮像レンズ112は、固定レンズ170、ズームレンズ171及びフォーカスレンズ172から構成されている。これらレンズのうち、ズームレンズ171及びフォーカスレンズ172には、それぞれレンズモータ173,174が接続されている。レンズモータ173は、ズーム操作ボタン124の操作に連動して、ズームレンズ171をワイド側、あるいはテレ側に移動させる。また、レンズモータ174は、ズームレンズ171の変倍などに応じてフォーカスレンズ172を移動させ、撮影条件が最適となるように焦点調節を行う。なお、これらレンズモータ173,174は、ステッピングモータからなり、CPU175に接続されたモータドライバ176,177から送信される駆動パルスにより動作制御される。
絞り180には、アイリスモータ181が接続されている。アイリスモータ181は、ステッピングモータからなり、CPU175に接続されたモータドライバ182から送信される駆動パルスにより動作制御される。これにより、絞り180の開口が調節され、露出が調整される。
撮像レンズ112の背後には、撮像レンズ112を透過した被写体光を光電変換するCCD185が配置されている。CCD185には、CPU175によって制御されるタイミングジェネレータ(TG)186が接続され、このTG186から入力されるタイミング信号(クロックパルス)により、電子シャッタのシャッタ速度が決定される。
CCD185から出力された撮像信号は、相関二重サンプリング回路(CDS)190に入力され、CCD185の各セルの蓄積電荷量に正確に対応したR、G、Bの画像データとして出力される。CDS190から出力された画像データは、増幅器(AMP)191で増幅され、A/D変換器(A/D)192でデジタルの画像データに変換される。
画像入力コントローラ193は、バス194を介してCPU175に接続され、CPU175の制御命令に応じて、CCD185、CDS190、AMP191、およびA/D192を制御する。A/D192から出力された画像データは、SDRAM195に一時記録される。
画像信号処理回路196は、SDRAM195から画像データを読み出して、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を施し、この画像データを再度SDRAM195に記録する。YC変換処理回路197は、画像信号処理回路196で各種処理を施された画像データをSDRAM195から読み出し、輝度信号Yと色差信号Cr、Cbとに変換する。
VRAM198は、LCD122にスルー画像を出力するためのメモリであり、画像信号処理回路196、YC変換処理回路197を経た画像データが格納される。VRAM198には、画像データの書き込みと読み出しを並行して行えるように、2フレーム分のメモリ198a、198bが確保されている。VRAM198に格納された画像データは、LCDドライバ199でアナログのコンポジット信号に変換され、LCD122にスルー画像として表示される。
圧縮伸長処理回路110は、YC変換処理回路197でYC変換された画像データに対して、所定の圧縮形式(例えばJPEG形式)で画像圧縮を施す。圧縮された画像データは、メディアコントローラ201を経由してメモリカード202に記憶される。
バス194には、露出量、すなわち電子シャッタのシャッタ速度、および絞り180の絞り値が撮影に適切か否かを検出するとともに、ホワイトバランスが撮影に適切か否かを検出するAE/AWB検出回路205と、撮像レンズ112の焦点調節が撮影に適切か否かを検出するAF検出回路206とが接続されている。
AE/AWB検出回路205は、YC変換処理回路197でYC変換された画像データの輝度信号Yと色差信号Cr、Cbとから被写体輝度を算出することで、上述したシャッタ速度及び絞り値の組み合わせが撮影に適切か否かを判断するとともに、ホワイトバランスの適否を検出し、この検出結果をCPU175に送信する。CPU175は、AE/AWB検出回路205から送信された検出結果に基づいて、撮像レンズ112、絞り180、およびCCD185の動作を制御する。また、この他に、補助光照射装置140の動作を制御する。なお、符号207はLEDドライバである。
AF検出回路206は、A/D192でデジタル化された画像データから画像の鮮鋭度を表すフォーカス評価値を算出し、この算出結果をCPU175に送信する。例えば被写体中に人物や動物の顔部が特定されている場合には、人物や動物の顔部の領域及び顔部に隣接する領域となる画像データに対して、バンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出された輪郭信号、および人物や動物の顔部の領域及び顔部に隣接する領域の画像データの輝度値を積算することでフォーカス評価値が取得される。
また、人物や動物の顔部が特定されていない場合には、例えば撮影画角の中央部分の画像データに対してバンドパスフィルタなどで輪郭抽出処理を施し、これにより抽出した輪郭信号、および中央部分の画像データの輝度値を積算することでフォーカス評価値が取得される。ここで、フォーカス評価値が大きいほどその部分の高周波成分が多く、その部分が合焦状態にあることを表している。
CPU(焦点調整手段)175は、レリーズボタン130の半押しに伴う撮影準備処理時に、そのときのズームレンズ171の位置からフォーカスレンズ172の合焦位置の探索範囲を決定し、モータドライバ177を介してレンズモータ174の動作を制御して、決定した探索範囲内で、フォーカスレンズ172を例えば近点側から遠点側に移動させ、AF検出回路206から順次送信されるフォーカス評価値の大小を比較することで、フォーカス評価値が最大となる位置、つまり合焦位置でフォーカスレンズ172を停止させる。これにより、撮影レンズ112の焦点が調節される。
CPU175には、半押しスイッチ210、全押しスイッチ211の他に、EEPROM212が接続されている。半押しスイッチ210は、レリーズボタン130が半押しされたときにオンとなり、そのオン信号をCPU175に出力する。これを受けて、CPU175は、上述した撮影準備処理を実行する。また、全押しスイッチ211は、レリーズボタン130が全押しされたときにオンとなり、そのオン信号をCPU175に出力する。このオン信号を受けて、撮影処理が実行される。
CPU175は、EEPROM212から各種制御用のプログラムや設定情報などを読み出すことで、輝度判定部220、位置特定部(顔画像位置特定手段、目の位置特定手段)221、照射方向決定部222として機能する。
輝度判定部220は、AE/AWB検出回路205から出力された被写体輝度の算出値Tと、予め設定された第1基準値T1と、第2基準値T2(T1>T2)とを用いた比較判定を行う。例えば被写体輝度の算出値Tが、第1基準値T1を超える(T>T1となる)場合には、AF補助光を被写体に向けて照射しなくてもAF処理が行える撮影条件下にあると判定される。
被写体輝度の算出値Tが、第1基準値T1以下であり、第2基準値T2を超過している(T2<T≦T1となる)場合には、位置特定部221における位置抽出処理においてはAF補助光を必要としないが、AF処理を行う際にはAF補助光を被写体に向けて照射する必要がある撮影条件下であると判定される。一方、被写体輝度の算出値Tが第2基準値T2以下となる(T≦T2となる)場合には、位置特定部221における位置抽出処理及びAF処理の際には、AF補助光を被写体に向けて照射する必要がある撮影条件下であると判定される。なお、第1基準値T1及び第2基準値T2は、実験等から得られた値からなる。
位置特定部221は、被写体輝度判定部220で被写体輝度の算出値Tが第1基準値T1以下となる場合に作動する。SDRAM195に記憶された画像データに基づく画像を被写体画像と称して説明する。この位置特定部221は、被写体画像から人物や動物の顔部の位置や向きを特定する。この顔部の位置や向きを特定する方法としては、予め顔の向きが異なる複数の顔画像パターン225をEEPROM212に記憶させておき、被写体画像に対して、これら顔画像パターンを照合させる、所謂パターン認識の他に、被写体画像の各画素の色が肌色範囲に属する色であるか否かを判定し、肌色範囲に属する色となる画素が所定の画素数以上となる箇所を顔画像として抽出する等の方法が挙げられる。例えば位置特定部221によって人物や動物の顔部の位置や向きが特定された場合には、さらに、目の位置も特定される。なお、この目の位置は、上述したパターン認識を用いればよい。
照射方向決定部222は、AF処理の際に被写体に照射される狭角補助光S2の照射方向を決定する。例えば、位置特定部221によって目の位置が特定されているから、特定された目の位置が、狭角補助光S2の照射範囲から外れるように、LED150の移動量を決定する。図18に示すように、被写体画像230から人物の顔部の位置が特定された場合、撮影レンズ112の焦点調節は、被写体中の人物に合わせて行われる。例えば発光部141が基準位置にある場合には、狭角補助光S2の照射範囲R2の内部に人物の目の領域Mが位置していることから、図19に示すように、人物の胸部に狭角補助光S2が照射されるように発光部141を位置調整する。一方、人物の顔部が特定されない場合には、狭角補助光S2の照射範囲R2が被写体画像230の中心となるように発光部141の移動量が決定される。つまり、発光部141は基準位置にあることから、このような場合には、発光部141の移動量は0となる。
次に、本実施形態の作用について図20のフローチャートに基づいて説明する。レリーズボタン112が半押しされると、AE/AWB検出回路205において、CCD185によって取り込まれた被写体画像から被写体輝度が算出される。この被写体輝度の算出値Tは、CPU175に出力される。
CPU175は、入力された被写体輝度の算出値Tと、第1基準値T1と、第2基準値T2とを用いた比較判定を行う。例えば、被写体輝度の算出値TがT≦T2となる場合、CPU175はレンズユニット144が広角位置にあるか否かを判定し、狭角位置にある場合には、レンズユニット144を広角位置に移動させる。その後、LEDドライバ207を介してLED150を発光制御する。これにより、広角補助光S1が被写体に向けて照射される。広角補助光S1が被写体に向けて照射された後に得られる被写体画像を用いて、人物や動物の顔部の位置や向き、さらには目の位置が特定される。
そして、被写体画像から人物や動物の目の位置が特定された場合には、特定された目の位置と、発光部141が基準位置にあるときの狭角補助光S2の照射範囲とから、発光部141の移動量を決定する。同時に、CPU175は、移動機構145を作動させ、レンズユニット144を狭角位置へと移動させる。また、CPU175は、水平方向調整機構142、垂直方向調整機構143を作動させ、先に決定された移動量に基づいて発光部141の位置調整を行う。これら処理の後、LEDドライバ207を介して、LED150を発光させる。これにより、狭角補助光S2が被写体に向けて照射される。
例えば、図18に示すように、被写体中の人物が被写体画像230の中心に位置している場合には、目の領域Mも被写体画像の略中心に位置している。例えば発光部141が基準位置にあるときには、狭角補助光S2の照射範囲R2内に目の領域Mが位置することになる。図19に示すように、狭角補助光S2の照射範囲R2を人物の胸部となるように発光部141の位置調整を行うことで、AF処理、及びAE処理時に人物の目に狭角補助光S2が入り込むことがなく、被写体中の人物が眩しく感じることがない。また、被写体となる人物が被写体画像230の中心に位置していない場合も同様である。これにより、人物の位置を特定することで、適切な狭角補助光S2の照射方向を決定することができる。
狭角補助光S2が照射されると、AE処理、AF処理が実行される。これら処理の後、レリーズボタン130が全押しされると、LED150が消灯され、撮影処理が実行される。なお、この場合、被写体輝度の算出値Tが第1基準値T1以下であることから、レリーズボタン130の全押し時に、被写体に向けてストロボ光が照射される。このストロボ光の照射時に、例えばAE処理、AF処理が再度実行され、新たに算出されたシャッタ速度、絞り量を用いた撮影処理が実行される。
一方、広角補助光S1を照射したときに、被写体画像から人物の顔部の位置が特定されない場合がある。この場合には、発光部141が基準位置にあることから、発光部141の位置調整は行われない。そして、LED150の点灯制御が実行されることで、狭角補助光S2が被写体に向けて照射された後、AE処理、AF処理が実行される。これら処理の後、レリーズボタン130が全押しされることで、LED150が消灯され、撮影処理が実行される。これにより、被写体中に人物がいない場合、つまり風景を撮影する場合であっても、画角の中央部分に位置する被写体に対してAF処理を適切に行うことができる。
なお、このAE処理、及びAF処理の際にも、被写体画像における人物の顔部の位置や向き、さらには目の位置を特定する処理が実行されている。例えば、被写体画像における人物の顔部の位置や向きが特定された場合には、新たに特定された人物の目の位置が、狭角補助光S2の照射範囲から外れ、且つ人物の胸部に向けて狭角補助光S2が照射されるように発光部141の移動量が決定される。そして、決定された移動量に基づいて発光部141の位置調整が行われた後に、AE処理、AF処理が実行される。これら処理の後、レリーズボタン130が全押しされることで、LED150が消灯され、撮影処理が実行される。これにより、被写体画像から新たに人物が特定された場合であっても、適切なAF処理を行うことができる。
また、被写体輝度の算出値TがT2<T≦T1となる場合には、広角補助光S1を被写体に向けて照射せずに人物及び動物の顔部の位置や向き、さらには目の位置が特定される。その後、T≦T2の場合と同様に、特定された目の位置が、狭角補助光S2の照射範囲から外れるように、発光部141の位置調整を行った後、狭角補助光S2が被写体に向けて照射される。この状態で、AE処理、AF処理が実行される。これら処理の後、レリーズボタン130が全押しされることで、LED150が消灯され、撮影処理が実行される。
また、被写体輝度の算出値TがT1<Tとなる場合には、AF用補助光を被写体に向けて照射しなくてもAF処理が行える撮影条件下であることから、補助光照射装置140は作動せずに、AE処理及びAF処理が実行される。これら処理の後、レリーズボタン130が全押しされることで撮影処理が実行される。
本実施形態では、被写体中の人物が一人からなる場合について説明しているが、被写体中に複数の人物がいる場合には、例えば人物の顔部、目の位置が複数特定される。この場合、例えば、人物の顔部の画素数などを算出し、顔部の大きい人物を主要被写体とした上で、主要被写体である人物の目が狭角補助光の照射範囲から外れた位置となるように発光部の位置調整を行う、又は、特定された複数の人物の目のそれぞれが狭角補助光の照射範囲から外れた位置となるように発光部の位置調整を行うようにすればよい。
本実施形態では、AF補助光を、人物の顔部の位置や向き、さらには目の位置を特定する際に被写体に照射される広角補助光と、撮影レンズの焦点調節時に被写体に照射される狭角補助光とから構成しているが、これに限定する必要はなく、AF補助光を狭角補助光のみとしてもよい。
本実施形態では、狭角補助光の照射範囲を人物の胸部となるように発光部の位置調整を行っているが、これに限定する必要はなく、人物の目の位置が狭角補助光の照射範囲から外れるように発光部の位置調整が行われればよいので、狭角補助光の照射範囲を例えば人物の顎から胸部に亘る範囲、人物の頭部の範囲、又は人物の顔の下半分となる、つまり口や鼻が照射されるとなるように、発光部の位置調整を行うことも可能である。
本実施形態では、被写体画像から人物や動物の顔部の位置や向きが特定されない場合には、狭角補助光の照射範囲が被写体画像の中央エリアに位置するようにしているが、これに限定する必要はなく、適宜設定してよい。
本実施形態では、被写体画像から特定された目の位置が狭角補助光の照射範囲から外れるように発光部の移動量を決定し、決定された移動量に基づいて発光部の位置調整を行っているが、これに限定する必要はない。例えば、被写体に照射される狭角補助光の照射範囲を検出しながら、発光部の位置調整を行うことも可能である。つまり、CCDによって取り込まれる被写体画像において、被写体輝度が高い領域を狭角補助光の照射範囲として検出し、特定された目の位置が、検出された狭角補助光の照射範囲から外れるように、発光部の位置調整を行うことも可能である。
本実施形態では、広角レンズと狭角レンズとを切り替えることで被写体に向けて広角補助光、又は狭角補助光を照射するようにしているが、広角補助光、又は狭角補助光を照射する方法としては、これに限定する必要はなく、例えば光源と被写体との間に配置されるレンズを、その光軸方向に移動させて、光源からの補助光を広角補助光、又は狭角補助光として被写体に照射することも可能である。以下では、本実施形態と同一の構成となる部材については同一の符号を付して説明する。
図21に示すように、LED150の前面に照明用のレンズ240を配置する。このレンズ240は移動機構241によって、レンズ240の光軸方向(H方向又はI方向)に移動可能であり、広角補助光を照射する広角位置(図21中実線で示す位置)と狭角補助光を照射する狭角位置(図21中二点差線で示す位置)との間で移動させる。これにより、広角レンズと狭角レンズとを用いなくても、広角補助光と狭角補助光とを切り替えて使用することができる。図示はしていないが、補助光の照射方向を変更する場合には、LED150又はレンズ240の一方を撮影光軸に直交する面上で移動させればよい。なお、レンズ240を光軸方向に移動させる代わりに、LED150を撮影光軸方向に移動させる、又はレンズ240とLED150とのそれぞれをレンズの撮影光軸方向に移動させてもよい。
また、この他に、ズームレンズを用いて、狭角補助光と狭角補助光との間で切り替えることも可能である。図22に示すように、LED50の前面にズームレンズ245を設ける。また、ズームレンズ245のズーム倍率を変更するズーム倍率変更部246を設ける。ズーム倍率変更部246は狭角補助光を照射する場合にはズームレンズ245のズーム倍率を高くし、広角補助光を照射する場合にはズーム倍率を低くすることで、狭角補助光と広角補助光とを切り替える。図示はしていないが、補助光の照射方向を変更する場合には、発光部141又はズームレンズ245の一方を撮影光軸に直交する面上で移動させればよい。
本実施形態では、発光部の位置調整を行うことで、狭角補助光の照射方向を変更しているが、これに限定する必要はなく、狭角レンズを撮影光軸と直交する面上で位置調整する、或いは、狭角レンズと発光部との両方をそれぞれ撮影光軸と直交する面上で位置調整することで、狭角補助光の照射方向を変更することも可能である。
本実施形態では、静止画を取り込む際の実施形態としているが、これに限定する必要はなく、静止画の他に、動画を取り込む場合に本発明を用いることができる。
なお本発明の撮影装置は、上述した実施形態のデジタルカメラに限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
デジタルカメラの構成の概略を示すブロック図 光照射部の概略構造図 デジタルカメラの撮影処理のフローチャート 光照射処理のフローチャート 光照射制御の説明図 別の実施形態のデジタルカメラの構成の概略を示すブロック図 図6のデジタルカメラの撮影処理のフローチャート(その1) 図6のデジタルカメラの撮影処理のフローチャート(その2) プレ表示の説明図 さらに別の実施形態のデジタルカメラの構成の概略を示すブロック図 図9の実施形態のデジタルカメラの背面図 図9のデジタルカメラの撮影処理のフローチャート(その1) 図9のデジタルカメラの撮影処理のフローチャート(その2) パターン光の変更の説明図 第二の実施形態のデジタルカメラの正面の外観を示す斜視図 図13のデジタルカメラの後面の外観を示す斜視図 補助光照射装置の構成の概略を示す斜視図 補助光の照射範囲を示す説明図 図13のデジタルカメラの電気的構成を示すブロック図 狭角補助光の照射範囲が被写体画像の中心となる場合の、照射範囲と被写体との位置関係を示す説明図 狭角補助光の照射方向を調整したときの、照射範囲と被写体との位置関係を示す説明図 図13のデジタルカメラにおける撮影時の処理手順を示すフローチャート レンズを光軸方向に移動させて、補助光を狭角補助光と広角補助光との間で切り替える場合の構成を示す斜視図 ズームレンズを用いて、補助光を狭角補助光と広角補助光との間で切り替える場合の構成を示す斜視図
符号の説明
1、1−A、1−B 第一の実施形態のデジタルカメラ(撮影装置)
2 撮像部(撮像手段)
3 画像処理部
4 記憶部
5 操作部
6 液晶モニタ(表示手段)
7 対象物検出部(対象物検出手段)
71 顔検出部
72 目検出部
8 光照射部(光照射手段)
9 光制御部(光制御手段)
10 CPU
13 プレ表示部(プレ表示手段)
14 光変更部、53 パターン光変更ボタン(光変更手段)
P パターン光
100 第二の実施形態のデジタルカメラ
117 補助光窓
130 レリーズボタン
140 補助光照射装置(補助光照射手段)
141 発光部
142 広角位置調整機構(照射方向調整部)
143 狭角位置調整機構(照射方向調整部)
144 レンズユニット
145 移動機構(レンズ移動部)
150 LED(光源)
155 広角レンズ
156 狭角レンズ
175 CPU
220 輝度判定部
221 位置特定部(顔画像位置特定手段、目の位置特定手段)
222 照射方向決定部

Claims (8)

  1. 撮影レンズにより撮像素子に被写体光を入射させ、前記撮像素子で光電変換して得られる画像信号をデジタルデータに変換して記憶する撮影装置において、
    前記デジタルデータに基づき被写体中の人物または動物の顔画像を検出し、顔画像の位置を特定する顔画像位置特定手段と、
    前記顔画像位置特定手段で特定された顔画像から目の位置を特定する目の位置特定手段と、
    前記撮影レンズの焦点を調節するときに点灯する光源と、前記光源からの光を狭角補助光とする狭角レンズと、前記光源又は狭角レンズを撮影光軸に略直交する面上で移動させて前記狭角補助光の照射方向を調整する照射方向調整部とを有し、前記顔画像位置特定手段で特定された顔画像を含むエリアであって、前記目の位置を避けた位置に向けて狭角補助光を照射する補助光照射手段と、
    前記顔画像を含むエリアのデジタルデータに基づき合焦位置を特定し、前記撮影レンズの焦点を調節する焦点調節手段と、を備えたことを特徴とする撮影装置。
  2. 前記補助光照射手段は、前記光源からの光の照射角度を変更して広角補助光とする補助光照射角度変更部を有し、
    前記デジタルデータに基づく前記被写体の被写体輝度が予め設定された基準値よりも小さいときに前記補助光照射角度変更部により広角補助光を被写体に照射することを特徴とする請求項1に記載の撮影装置。
  3. 前記補助光照射角度変更部を、前記光源からの光を広角補助光として被写体を照射する広角レンズと、前記狭角レンズまたは前記広角レンズを前記光源の光軸上に選択的に位置させるレンズ移動部とから構成したことを特徴とする請求項2に記載の撮影装置。
  4. 前記補助光照射角度変更部を、前記光源または前記狭角レンズを撮影光軸上で移動させる移動部から構成したことを特徴とする請求項2に記載の撮影装置。
  5. 前記狭角レンズをズームレンズから構成し、前記補助光照射角度変更部を前記狭角レンズのズーム倍率を変更するズーム倍率変更手段から構成したことを特徴とする請求項2に記載の撮影装置。
  6. 前記補助光照射手段による前記広角補助光の照射中に、前記顔画像位置特定手段が顔画像を検出不能である場合に、前記補助光照射手段は予め定めた位置に狭角補助光を照射することを特徴とする請求項2又は5いずれか1項に記載の撮影装置。
  7. 前記補助光照射手段により狭角補助光を照射して前記撮影レンズの焦点の調節を行っているときに、前記目の位置特定手段は前記目の位置を特定し、この特定した目の位置を避けるように狭角補助光の照射方向を変更することを特徴とする請求項1又は6いずれか1項に記載の撮影装置。
  8. 撮影レンズにより撮像素子に被写体光を入射させ、前記撮像素子で光電変換して得られる画像信号をデジタルデータに変換して記憶する撮影方法において、
    前記デジタルデータに基づき被写体中の人物または動物の顔画像を検出し、顔画像の位置を特定する顔画像位置特定工程と、
    前記顔画像位置特定工程で特定された顔画像から目の位置を特定する目の位置特定工程と、
    前記撮影レンズの焦点を調節するときに点灯する光源と、前記光源からの光を狭角補助光とする狭角レンズとを有し、前記光源又は狭角レンズを撮影光軸に略直交する面上で移動させて前記狭角補助光の照射方向を調整することにより、前記顔画像位置特定工程で特定された顔画像を含むエリアであって、前記目の位置を避けた位置に向けて狭角補助光を照射する補助光照射工程と、
    前記顔画像を含むエリアのデジタルデータに基づき合焦位置を特定し、前記撮影レンズの焦点を調節する焦点調節工程とを有することを特徴とする撮影方法。
JP2007271203A 2006-11-07 2007-10-18 撮影装置及び撮影方法 Expired - Fee Related JP4717867B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007271203A JP4717867B2 (ja) 2006-11-07 2007-10-18 撮影装置及び撮影方法
US11/979,610 US8102465B2 (en) 2006-11-07 2007-11-06 Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2006301710 2006-11-07
JP2006301710 2006-11-07
JP2006309978 2006-11-16
JP2006309978 2006-11-16
JP2007271203A JP4717867B2 (ja) 2006-11-07 2007-10-18 撮影装置及び撮影方法

Publications (3)

Publication Number Publication Date
JP2008146024A JP2008146024A (ja) 2008-06-26
JP2008146024A5 JP2008146024A5 (ja) 2010-10-28
JP4717867B2 true JP4717867B2 (ja) 2011-07-06

Family

ID=39606230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007271203A Expired - Fee Related JP4717867B2 (ja) 2006-11-07 2007-10-18 撮影装置及び撮影方法

Country Status (1)

Country Link
JP (1) JP4717867B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5298705B2 (ja) * 2008-08-27 2013-09-25 株式会社ニコン 撮像装置
JP5319999B2 (ja) * 2008-09-25 2013-10-16 パナソニック株式会社 照明装置
JP6703397B2 (ja) * 2015-12-17 2020-06-03 日本放送協会 照明システム
KR101948674B1 (ko) 2016-10-20 2019-02-18 (주)하이모 포터블 스캐너 및 그 스캐닝 방법
CN109242913B (zh) 2018-09-07 2020-11-10 百度在线网络技术(北京)有限公司 采集器相对参数的标定方法、装置、设备和介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH095843A (ja) * 1995-06-22 1997-01-10 Nikon Corp カメラ
JP2007328213A (ja) * 2006-06-09 2007-12-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
JP2008146024A (ja) 2008-06-26

Similar Documents

Publication Publication Date Title
US8102465B2 (en) Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
US8792019B2 (en) Video creation device, video creation method and non-transitory computer-readable storage medium
US6806906B1 (en) Digital still camera with composition assist function, and method of controlling operation of same
US8111315B2 (en) Imaging device and imaging control method that detects and displays composition information
JP4135100B2 (ja) 撮影装置
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
KR20120128441A (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2007311861A (ja) 撮影装置及び方法
JP2008236645A (ja) 撮影装置
JP2008070611A (ja) 撮像装置、露出条件調整方法及びプログラム
JP4891674B2 (ja) カメラ
JP5923759B2 (ja) 撮像装置
JP6389342B2 (ja) 撮影装置及びその制御方法
JP4717867B2 (ja) 撮影装置及び撮影方法
US20130307994A1 (en) Photometric device, imaging device, and camera
JP2006323282A (ja) 撮影装置
JP2011239267A (ja) 撮像装置及び画像処理装置
JP2010141609A (ja) 撮像装置
JP4717840B2 (ja) 撮像装置およびその制御方法
JP2008015351A (ja) 撮像装置
JP4760496B2 (ja) 画像データ生成装置、画像データ生成方法
JP2008136073A (ja) カメラ
JP2009182832A (ja) 撮影装置およびスルー画表示方法
JP4761039B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100914

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100914

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110330

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees