JP3643988B2 - Video camera for photographing of person's face - Google Patents

Video camera for photographing of person's face Download PDF

Info

Publication number
JP3643988B2
JP3643988B2 JP17715692A JP17715692A JP3643988B2 JP 3643988 B2 JP3643988 B2 JP 3643988B2 JP 17715692 A JP17715692 A JP 17715692A JP 17715692 A JP17715692 A JP 17715692A JP 3643988 B2 JP3643988 B2 JP 3643988B2
Authority
JP
Japan
Prior art keywords
screen
subject
image
imaging unit
framing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP17715692A
Other languages
Japanese (ja)
Other versions
JPH05268513A (en
Inventor
豪人 野津
孝 寺内
正広 上野
信介 舟木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP17715692A priority Critical patent/JP3643988B2/en
Publication of JPH05268513A publication Critical patent/JPH05268513A/en
Application granted granted Critical
Publication of JP3643988B2 publication Critical patent/JP3643988B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)

Description

【0001】
【産業上の利用分野】
本発明は撮影装置に関し、詳しくは、被写体の上下左右の位置ずれがあっても、これを撮影装置側で自動的に補償して、被写体を画面内の所期位置に位置させた画像を得ることができる装置に関する。
【0002】
【従来の技術】
所謂IDカード(Identification Card )の中でも、特定資格を証明するためのIDカードにおいては、本人の顔画像と、本人の住所,氏名,個人識別番号等IDデータ(文字情報)とを記録する形態とすることが多い。
上記のようなIDカードの作成方法としては、本人の顔画像をビデオカメラで撮影し、このビデオカメラで得られる顔画像データと、別途入力される氏名,住所,個人識別番号等のIDデータとを電気的に合成してIDカード用のイメージデータを作成し、このイメージデータに基づいてIDカードをプリンタによって作成させるものがある(特開平1−206098号公報参照)。
【0003】
【発明が解決しようとする課題】
上記のようにビデオカメラを用いてIDカード用の顔画像を撮影する際には、一般的に行なわれている銀塩写真感光材料(銀塩フィルム)による証明写真撮影の場合と同様に、本人をバックスクリーンの前の所定位置に置いた椅子に座らせ、撮影担当者がビューファインダーやモニタ等で確認しながらカメラの向きを上下左右に振って、本人の顔画像が、画枠によって切られることがなくかつ画面内の略中央に位置するように調整してから、シャッタを切ることになる。
【0004】
即ち、上記のように本人を椅子に座らせる場合には、被写体の左右方向の位置ずれは比較的少ないものの、上下方向に関しては各人の座高のばらつきが大きいため、証明写真のように画面内に略一杯に本人の顔画像を撮影したい場合には、専門の担当者がカメラで撮影された画像をモニタで確認しなら、最適位置にカメラの向きを調整する必要が生じるものであり、前記調整作業を必要とすることがIDカードの作成における撮影時間の短縮及び作成用人員の削減を妨げる原因となってしまう。
【0005】
本発明は上記問題点に鑑みなされたものであり、被写体を画面内の所期位置に位置させるための人手によるカメラの向き調整が不要な撮影装置を提供し、特に照明写真用としての顔画像の撮影において、撮影のサイクルタイムを短縮し、また、撮影の自動化を図れるようにすることを目的とする。
【0006】
【課題を解決するための手段】
そのため本発明にかかる撮影装置は、図1又は図2に示すように構成される。
図1において、撮像ユニットは、光学像を電気画像信号に変換するものである。上下位置検出手段は、前記撮像ユニットで得られた画像信号を解析して、画面内における被写体上端の位置を検出し、また、左右位置検出手段は、前記撮像ユニットで得られた画像信号を解析して、前記被写体上端の位置を基準とする画面の所定高さ位置において、画面の左右いずれか一方の端から被写体端部までの距離と被写体の幅とをそれぞれに検出する。
【0007】
そして、フレーミング画像切出し手段は、上下位置検出手段及び左右位置検出手段の検出結果に基づいて、被写体が画面内の所定位置に位置する所定画面サイズの画面を、前記撮像ユニットで得られた画像信号から電気的に切り出す。
ここで、前記フレーミング画像切出し手段が、最終的に必要とされる画素数よりも少ない画素数の画面を切り出すよう構成される一方、前記フレーミング画像切出し手段で得られた画面を拡大処理して前記最終的に必要とされる画素数に一致させる画面拡大処理手段を設けて構成することができる。
【0008】
一方、図2において、撮像ユニットは、光学像を電気画像信号に変換するものであり、上下位置検出手段は、前記画像信号を解析して被写体の画面内での上下方向の位置を検出する。
一方、撮像ユニットに入射される前記光学像の上下方向における位置を変化させる調整手段が設けられており、この調整手段は、上下位置検出手段で検出された上下方向の位置に基づいて、被写体の所定部位を画面の上端又は下端から所定距離に位置させるように、撮像ユニットに入射される前記光学像の上下方向における位置を変化させる。
ここで、前記調整手段として、例えば、撮影ユニットを水平軸回りに上下に揺動させる構成や、撮影ユニットを上下に平行移動させる構成とすることができる。
【0009】
更に、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号を解析して、被写体が画面内の所定位置に位置する画面を、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号から電気的に切り出すフレーミング画像切り出し手段を設けて構成することができる。
ここで、前記フレーミング画像切り出し手段は、例えば、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号を解析して、被写体の画面内での左右方向の位置を検出する左右位置検出手段と、前記左右位置検出手段で検出された左右方向の位置に基づいて、被写体が画面内の所定位置に位置する画面を、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号から電気的に切り出す左右方向フレーミング手段とから構成することができる。
また、前記上下位置検出手段が、画面内における被写体上端の位置を検出する構成とすると良い。
【0010】
更に、前記フレーミング画像切出し手段及び左右方向フレーミング手段が、前記撮像ユニットで得られた画像信号を記憶したメモリからの読み出し位置又は前記撮像ユニットで得られた画像信号のメモリに対する書き込み位置をシフトさせることで、被写体が画面内の所期位置に位置する画面を電気的に切り出すよう構成することができる。
【0011】
また、左右位置検出手段が、撮像ユニットで撮影された画面の所定高さ位置において、画面の左右いずれか一方の端から被写体端部までの距離と被写体の幅とをそれぞれに検出することが好ましい。
【0012】
更に、前記撮像ユニットが光学像をカラー画像信号に変換するものであり、前記上下位置検出手段及び/又は左右位置検出手段が、前記撮像ユニットから出力されるカラー画像信号から背景色を認識することで、被写体の上下方向及び/又は左右方向の位置を検出するよう構成することができる。
また、被写体が人物の顔である場合には、前記撮像ユニットから出力されるカラー画像信号から顔の肌色を認識することで、前記上下位置検出手段及び/または左右位置検出手段が、被写体の上下方向及び/又は左右方向の位置を検出するよう構成することができる。
また、前記撮像ユニットで得られた前記画像信号に基づいて、画像を表示する画像表示手段を含むことが好ましい。
【0013】
【作用】
かかる構成の撮影装置によると、撮像ユニットの撮影範囲に対して被写体が上下左右に位置ずれしている場合であっても、かかる位置ずれが、被写体上端の位置の検出、及び、被写体上端の位置を基準とする所定高さ位置における、画面の左右いずれか一方の端から被写体端部までの距離及び被写体の幅の検出によって求められる。そして、かかる位置ずれの検出情報に基づいて、撮像ユニットにより撮影された画面内から、被写体を上下方向及び左右方向に所期位置とする画像を電気的に切出し、被写体が画面内の所期位置に位置する画像を得るものである。
【0014】
また、上記画像の電気的な切出しにおいて、最終的に必要とされる画素数よりも少ない画素数の画面を切出し、切出した後で必要画素数に一致させる拡大処理を実行させることで、被写体が位置ずれを生じても確実に撮像ユニットの撮影範囲内に撮影されるように被写体を小さく撮影することが可能となる。 また、上記のように上下方向及び左右方向を共に電気的な処理でフレーミングする代わりに、上下方向については撮像ユニットに入射される前記光学像の上下方向における位置を変化させ、被写体の上下方向への位置ずれに対する許容度を高めるようにした。
【0015】
また、被写体が画面内の所期位置に位置する画面の切出しにおいては、メモリに記憶された画像信号の読み出し位置又は前記撮像ユニットで得られた画像信号のメモリに対する書き込み位置を左右又は上下にシフトさせれば、簡便に所望画像の切出しが行える。
【0016】
ここで、左右位置検出手段が、画面の所定高さ位置において、画面の左右いずれか一方の端から被写体端部までの距離と被写体の幅とをそれぞれ検出すれば、かかる検出結果に基づいて画面内における被写体中心の位置を求めることができ、かかる情報に基づいて画面左右方向の略中央に被写体が位置する画面を得ることができる。
【0017】
更に、撮像ユニットがカラー画像信号を出力し、かつ、特定の背景色を設定して撮影が行われる場合には、前記カラー画像信号から背景色を認識することで、非背景部として被写体部分を認識することができ、これによって被写体の上下方向及び/又は左右方向の位置を検出し得る。
また、被写体が人物の顔である場合には、顔の肌色の部分が被写体の主要部分であるから、カラー画像信号から肌色を認識すれば、影や髪型に影響されずに肌色の部分を画面内の所期位置に位置させるようにできる。
更に、画像表示手段を設けることで、被写体位置の目視確認が行える。
【0018】
【実施例】
以下に本発明の実施例を説明する。
尚、以下に説明する本実施例の撮影装置は、IDカードに添付される本人の顔画像(顔及び肩の部分を含む画像)を撮影するための装置である。そして、本実施例の撮影装置から出力される画像信号は、IDカードプリンタに出力され、ここで氏名や住所などの文字情報と電気的に合成されてIDカード用のイメージデータが作成されると共に、かかるイメージデータに基づいてIDカードが作成される。
【0019】
図3は、本発明にかかる撮影装置の外観斜視図であり、キャスター付き台1の上に設置された手動式エレベータ2に、撮影した光学像を電気画像信号(カラー画像信号)に変換するビデオカメラ3(撮像ユニット)が支持されている。前記手動式エレベータ2は、図示しないハンドルを手動で回すことで、ビデオカメラ3本体を平行に上下動させることができるものであり、該手動式エレベータ2によってビデオカメラ3の上下方向の基準位置を設定できる構成としてある。
【0020】
前記ビデオカメラ3には、該ビデオカメラ3の撮影方向を上下に揺動させるためのアクチュエータとしてのパルスモータ4が付設されており、該パルスモータ4によって撮影レンズ5の光軸に対して直交する軸回りにビデオカメラ3本体を揺動させることで、撮影方向を上下に変化させることができるようにしてある。具体的には、例えば手動式エレベータ2に対してビデオカメラ3を上下に揺動可能に支持し、かかる揺動軸を前記パルスモータ4によって回転駆動させる構成とすれば良い。
【0021】
一方、被写体の人物は、青色のバックスクリーン6の前の所定位置に置かれた椅子7に座らせるようにしてあり、バックスクリーン6及び椅子7を設置した状態で、例えば椅子7の端面から所定距離(例えば2m)の位置に台1を移動させ、被写体に対してビデオカメラ3が真正面から所定距離で対向するようにセットする。そして、椅子7の高さや対象とする人物の平均座高の推定などに基づいて、前記手動式エレベータ2を操作してビデオカメラ3を略水平に向けたときに、椅子7に座った人物の顔画像が撮影できるように、初期状態を設定する。
【0022】
ここで、上記撮影装置において、以下に示すようなオートフレーミング機能が備えられている。
まず、椅子7に座った被写体人物のビデオカメラ3の撮影範囲に対する上下方向の位置ずれを、ビデオカメラ3で得られた画像信号を解析して検出する。そして、検出された上下方向の位置ずれに基づいて撮像ユニットに入射される前記光学像の上下方向における位置を変化させる
図3に示された場合の撮影装置の場合、本願発明に係る撮像ユニットはビデオカメラ3に相当するが、撮影ユニットは前述の通り、光学像を電気信号に変換する作用を持つものであれば良い。
【0023】
次いで、椅子7に座った被写体人物のビデオカメラ3の撮影範囲に対する左右方向の位置ずれを、ビデオカメラ3で得られた画像信号を解析して検出する。そして、検出された左右方向の位置ずれに基づいて、画像信号から被写体が左右方向の略中央に位置する画像を作成する。
これにより、被写体が画面内の所定位置に位置する画像を自動的に得られるものであり、かかるオートフレーミング機能を実現するための制御回路が以下のように設けられている。
【0024】
図4は、台1の内部に設けられるオートフレーミング用の制御ユニットの基本構成を示すものであり、この図4に示す制御ユニットは、コンピュータと、オートフレーミング用の回路が組まれたオートフレーミング基板10とを主な要素として構成されている。
尚、前記コンピュータとオートフレーミング基板10とからなる制御ユニットが、後述するように、本実施例における上下位置検出手段,アクチュエータ制御手段,左右位置検出手段,左右方向フレーミング手段としての機能を備えている。
【0025】
前記オートフレーミング基板10には、前記ビデオカメラ3からのアナログカラー画像信号(RGB3原色毎のビデオ信号)が入力されるようになっており、また、オートフレーミングがなされた画像信号を出力する機能を備えている。
一方、コンピュータは、CPU11,ROM12,RAM13,タイマー14,デバック用の汎用インターフェイス(例えばRS232 C)15等を含んで構成され、前記オートフレーミング基板10との間のデータのやり取りは、ペリフェラル・インターフェイス・アダプタ(PiA)を介して行なわれるようになっている。
【0026】
前記オートフレーミング基板10では、入力されるビデオ信号に基づいて、画面上端から被写体人物の頭(被写体の所定部位)までの距離L、画面左端から頭までの距離HV、更に、頭の幅HWを求め、これらの情報をコンピュータに出力する。
一方、コンピュータでは、前記上下方向の位置データHVに基づいてパルスモータ4を制御する一方、左右方向の位置データL,HWに基づいて、被写体の左右方向の位置ずれを示すデータを演算し、これを前記オートフレーミング基板10に出力すると共に、前記左右方向の位置データL,HWを検出する位置を指定するデータ(横ずれ検査位置指定データ)を前記オートフレーミング基板10に出力する。
【0027】
コンピュータには、前記パルスモータ4によるビデオカメラ3の揺動位置を3段階(上中下)に検出する撮影方向センサ16a〜16cからの検出信号が入力されると共に、前記パルスモータ4の駆動回路17に駆動制御信号を出力する構成となっており、本実施例におけるアクチュエータ制御手段はCPU11等を含んでなるコンピュータが相当する。
【0028】
前記オートフレーミング基板10は、図5に示すような回路を備えて構成されている。
図5において、ビデオカメラ3から出力されるRGBのビデオ信号は、バッファアンプ21,ローパスフィルタ22,ペデスタルクランプ23を介した後、ADコンバータ24によってディジタル画像信号(8ビット)にそれぞれ変換される。
【0029】
前記ディジタル画像信号は、本実施例における背景色であるバックスクリーン6の青に対応するブルー検出回路25に入力され、このブルー検出回路25により画面内における青領域(背景色領域)の検出が行われる。そして、かかる青領域の検出結果に基づいて、各検出回路26〜28が、画面上端から被写体の頭までの距離HV、画面左端から頭までの距離L、更に、頭の幅HWを求め(図13参照)、この検出結果をコンピュータに出力する。
【0030】
前記ブルー検出回路25は、R,G,Bの各ディジタル画像信号と、背景色の青に対応して予め設定された所定値r,g,bとをそれぞれに比較し、例えばR≦r and G≧g and B≧bであるときを背景部に対応する画素とし、それ以外を非背景部(被写体部)に対応する画素として判別し、背景部に対応するか否かを示す1ビット情報を出力する構成とすれば良い。
【0031】
尚、背景色に応じて、所定値に対する各カラー画像信号の大小関係の設定及び論理演算(論理積又は論理和など)を使い分け、そのときに用いる背景色が判別されるようにすれば良い。
本実施例の場合、背景色がバックスクリーン6の青であるから、被写体の頭の上に一定の空間を有して撮影するものとすれば、画面上方の所定数の走査線については、背景色に対応するカラー画像信号を得るはずである。従って、画面の上から順番に各走査線の色成分を解析すれば、背景色に対応しないカラー画像信号が初めて表れた走査線を、被写体の頭部の上端に相当する走査線であると推定することができるものであり、前記頭部に相当する走査線が初めて検出されるまでの走査線数として、被写体の頭と画面の上端との間の距離HVを検出できる。
【0032】
特に、IDカード用の撮影においては、無帽を条件とすることが多く、然も、通常は頭部に表れない色である青を背景色に選んであるので、上記の方法によって画面上端と頭部との間隔HVを高精度に検出できる。
同様にして、画面内の所定高さ位置において、画面左端から背景色に対応する画素が途切れるまでの画素数をカウントすることで、画面左端から被写体右端までの距離Lを検出でき、更に、前記背景色に対応する画素が途切れてから、再度背景色相当のカラー画像信号が得られるようになるまでの画素数をカウントすることで、頭部の幅HWを検出できる。
【0033】
図6は前記距離HVの検出回路26の構成を示す図であり、図7のタイムチャートを参照しつつこの検出回路26を以下に説明する。
図6において、ブルー検出回路25からは、例えば背景色に対応する画素であるときに1となり、非背景色(被写体領域)であるときにφとなる1ビット情報が出力される。そして、前記ブルー検出回路25からの1ビットの背景色情報の反転データと、帰線消去信号BLKの反転データとがそれぞれAND回路41に入力され、このAND回路41によって帰線消去期間に生じる非背景色判別を消去する処理が行われ、画面内で非背景色の画素が表れたときにのみ、前記AND回路41の反転出力はローレベルに出力変化するようにしてある。
【0034】
前記AND回路41の反転出力は、垂直同期信号でリセットされるフリップフロップ42に出力され、このフリップフロップ42の出力Qは、初めて非背景色の画素が表れた時点でハイレベルに反転し、リセット端子に垂直同期信号V.syncが出力されるまで、その状態を保持する。
一方、前記フリップフロップ42の出力Qの反転データと、水平同期信号H.syncの反転データとがAND回路43に入力されるようになっており、前記AND回路43は、フリップフロップ42の出力がローレベルの状態であるときに、水平同期信号H.sync毎に立ち上がるパルス信号を、カウンタ44に出力する。
【0035】
即ち、画面の上端から順番に非背景色が表れるか否かを監視し、非背景色の画素が表れるまでの間、カウンタ44によって水平同期信号H.sync(走査線数)がカウントされ、非背景色(被写体)の画素が表れると、AND回路41の出力がローレベルに切り換わることによって、フリップフロップ42の出力Qがハイレベルに切り換わり、次に垂直同期信号V.syncが出力されるまでは、AND回路43からのパルス信号の出力が停止されるので、1画面毎に画面上端から被写体上端までの距離HVが、走査線数としてカウンタ44からコンピュータ側に出力される。
【0036】
このように距離HVの検出回路26(上下位置検出手段)は、AND回路41,43、フリップフロップ42、カウンタ44によって構成される。
ここで、前記検出回路26で検出された距離HVと該距離HVの目標値とが比較され、実際の距離HVが前記目標値に一致するように前記パルスモータ4を制御することで、ビデオカメラ3の撮影向きが上下方向に調整される。
【0037】
即ち、被写体の人物は椅子7に座っており、ビデオカメラ3に対する距離は一定に保たれるが、顔の高さは個人の体格によって大きく変動することになり、標準的な高さに合わせて手動式エレベータ2の高さを調整しても、実際に撮影される顔画像においては、頭部と画面上端との距離HVは大きくばらついてしまい、各被写体に合わせて何らかの調整を行なわないと、頭部が画面の上からはみ出したり、逆に画面上方に空間が空き過ぎて顔の下部分が切れてしまう惧れもある。
【0038】
そこで、前記のようにして頭と画面の上端との距離HVが検出されると、コンピュータは、予め設定されている所定間隔(目標値)と実際の距離HVとの差に基づいてパルスモータ4に送る駆動パルス信号のパルス数を演算し、かかるパルス数の情報をパルスモータ駆動回路17に出力して、パルスモータ4の駆動によってビデオカメラ3の撮影向きを変え、実際の距離HVを所定間隔に一致させるようにする。
【0039】
このようなパルスモータ4の駆動制御によって、たとえ被写体の人物に体格差があっても、画面上端と頭部との距離HVが一定した画像を得られる。即ち、オートフレーミング前の画像における前記距離HVが、所望の値よりも大きいか又は小さい場合であっても(図13参照)、前記距離HVを所定値に近づけるようにビデオカメラ3の撮影向きを自動的に上下させることで、少なくとも画面上での頭部上方の空間を一定幅にするオートフレーミングがなされることになる。
【0040】
但し、被写体の背が高く頭部が画面の上端からはみ出している場合であって、前記距離HVが0として検出される場合や、逆に、被写体の背が低く画面内に被写体が全く写っていない場合には、前記距離HVを目標値にするために必要なカメラ3の移動量が不明となってしまう。そこで、このような場合には、距離HVを所定値に近づける方向にカメラ3を所定量ずつ上下動させ、画面上端と被写体上端との間に、空間を有して撮影されるようになった段階で、そのときの距離HVに基づいて距離HVを目標値に一致させるためのカメラ3の移動量を決定させれば良い。
【0041】
本実施例では、カメラ3の撮影向きを上下に移動させる機構として、カメラ3を水平軸回りに揺動させる構成としたが、前記エレベータ2として電動式のものを用い、この電動式エレベータによってカメラ3を上下に平行移動させる構成であっても良い。
カメラ3を上下に平行移動させる場合には、被写体(人物)を常に真正面から撮影できるという利点があるが、一般的に移動に時間がかかり、オートフレーミングを迅速に実行できないという問題がある。この点、カメラ3を上下に揺動させる構成の場合には、背の高い人は見上げるように、逆に、背の低い人は上から見下ろすように撮影することになるが、被写体までの距離が長い場合には撮影に大きな支障となることはなく、然も、調整を単時間で終了させることができるという利点がある。
【0042】
パルスモータ4に送る駆動パルス信号のパルス数の演算は、以下のようにして行われる。
即ち、ビデオカメラ3による画像の水平走査線数をM、距離HVに相当する走査線数をN、距離HVの目標に相当する走査線数をNt、被写体位置で画像信号として切り出される撮影範囲の上下方向の長さをA、カメラ3から被写体までの距離をLs 、パルスモータ4に1パルス与えた場合の回転角をθとすると、距離HVを目標値に一致させるためには、水平走査線数で(N−Nt)だけ回転させれば良く、この走査線数(N−Nt)に相当する被写体寸法Bは、B=(N−Nt)・A/M(mm)となる。従って、距離HVを目標値に一致させるために必要となる回転角Θは、Θ=tan(B/Ls)=tan{(N−Nt)・A/(Ls・M)}となり、パルスモータ4に送るべきパルス数Pは、P=Θ/θ=tan{(N−Nt)・A/(Ls・M)}/θとなる。
【0043】
但し、カメラ3を水平に向けた状態から大きく回転させると、演算で求められる前記被写体寸法B=(N−Nt)・A/M(mm)に対して、実際の撮影範囲の移動が大きくなるので、何らかの補正を行うことが好ましい。前記回転角Θが非常に小さく水平付近から僅かに回転させる場合には、1パルス当たりの被写体寸法ΔB1は、ΔB1=Ls・tanθとなるが、前記回転角Θが非常に大きく水平から大きく回転させる場合には、1パルス当たりの被写体寸法ΔB2は、ΔB1=Ls・tan(Θ+θ)−Ls・tanΘ(=Ls・tan((tan-1B2/Ls)+θ)−Ls・tan(tan-1B2/Ls))となる。従って、水平位置から大きく回転させる場合には、P・(ΔB1/ΔB2)のパルス数を与えるようにすると良い。
【0044】
尚、上記のように必要回転角Θが大きいと補正が必要となるので、上下方向への平行移動と揺動とを組み合わせ、移動時間が過大とならない範囲でカメラを上下に平行移動させると共に、回転方向での調整を行わせ、カメラと被写体との間隔が短い場合であっても、あおり(見上げたり、見下ろしたり)の少ない画像を得られるようにしても良い。
【0045】
一方、距離Lの検出回路27及び幅HWの検出回路28(左右位置検出手段)は、図8に示すように構成され、以下に図9のタイムチャートを参照しつつこの検出回路27,28について説明する。尚、上記の検出回路27,28による検出結果は、前記距離HVの検出結果が目標値に一致した段階でのものが最終的に採用されるものとする。
【0046】
図8において、AND回路51には、ブルー検出回路25の出力、帰線消去信号(ブランク信号BLK)、CPUからの横ずれ検査位置指定データ、更に、フリップフロップ57からのノイズ影響除去用信号が入力される。
前記横ずれ検査位置指定データは、水平同期信号のカウントによって左右方向の位置を検出する走査線であるときにのみハイレベルに出力される信号であり、また、フリップフロップ57から出力されるノイズ影響除去用信号は、後述するように、非背景部(被写体)の最初の検出時にローレベルにクランプされてその後のノイズの影響によって距離Lの検出精度が悪化することを回避するためのものである。
【0047】
前記AND回路51は、距離Lを検出する走査線の走査が始まってから被写体に対応する画素が初めて出力されるまでの間だけハイレベルを出力し、このAND回路51の出力は、A/D変換器24の画素クロック信号(14.318MHz)が入力されるAND回路52に出力され、前記AND回路52からは、AND回路51の出力がハイレベルのときだけ前記画素クロック信号が出力される。
【0048】
そして、カウンタ53は、前記AND回路52から出力される画素クロック信号をカウントし、そのカウント結果を距離Lとして出力する。
また、前記AND回路51の出力は、NOT回路54を介してフリップフロップ55に入力される。前記フリップフロップ55は、NOT回路54から出力される信号の立ち上がりで出力が反転するTフリップフロップであり、NOT回路54の出力は、被写体の左端の部分で立ち上がるから、被写体の左端の部分でフリップフロップ55の反転出力Qバーが反転する。
【0049】
前記フリップフロップ55の出力Qバーは、CPUからのリセット信号と共に反転されてOR回路56に入力され、このOR回路56の反転出力は、フリップフロップ57のリセット信号として出力される。
フリップフロップ57には、横ずれ検査位置指定データが入力されるNOT回路58の出力がセット信号として入力されるようになっている。
【0050】
かかる構成により、横ずれ検査位置で被写体の左端部が検出されると、前記フリップフロップ55の反転出力Qバーがローレベルに切り換わり、これによってOR回路56の出力がローレベルに切り換わる。すると、フリップフロップ57の出力Qはローレベルに切り換わり、フリップフロップ57の出力Qが入力されるAND回路51では、それ以降で背景色に対応する画素が検出されても、出力がハイレベルに反転することがない。
【0051】
即ち、フリップフロップ55,57、OR回路56、NOT回路58によって、最初に被写体の左端が検出されると、それ以降に背景色に対応する画素の検出があっても距離Lの検出が影響を受けないようになっている。
上記のようにして、フリップフロップ57の出力Qは、被写体の左端でローレベルに切り換わり、フリップフロップ57の反転出力Qバーは、逆に被写体の左端でハイレベルに立ち上がる。そして、前記フリップフロップ57の反転出力Qバーは、フリップフロップ63に出力され、AND回路59に出力される該フリップフロップ63の出力Qを立ち上げる。
【0052】
前記AND回路59の他方の入力端子には、ブルー検出回路25の出力が入力されるNOT回路60の出力が入力されるようになっており、フリップフロップ57の反転出力Qバーが被写体の左端の部分で立ち上がると、ブルー検出回路25から出力される信号が被写体の右端部分に立ち上がるまでの間連続的にハイレベル信号を出力する。
【0053】
前記AND回路59の出力は、AND回路61に入力され、ここで、画素クロック信号との論理積が演算されることで、被写体の左端から右端までの間AND回路61から画素クロック信号が出力される。そして、AND回路61から出力される画素クロック信号がカウンタ62でカウントされ、このカウンタ62のカウント結果が頭の幅HWとして出力されるようになっている。
【0054】
ここで、前記AND回路59の出力は、NOT回路64を介してフリップフロップ65に入力され、NOT回路64から出力される信号の立ち上がり、即ち、被写体の右端の部分で立ち下がる出力Qバーがフリップフロップ65から出力される。
前記フリップフロップ65の出力Qバーは、CPUからのリセット信号が反転入力されるOR回路66に反転入力され、前記出力Qバーが立ち下がることで、フリップフロップ63の出力Qが立ち下げられ、一旦被写体の右端が検出されると、それ以降は、AND回路59の出力が立ち上がることを回避して、ブルー検出回路25の出力にノイズが発生しても、幅HWの検出に影響を与えないようにしてある。
【0055】
以上のように、AND回路51,52、NOT回路54,58、フリップフロップ55,57,OR回路56、カウンタ53によって距離Lの検出回路27が構成され、AND回路59,61、NOT回路60、フリップフロップ63,65,OR回路66、カウンタ62によって幅HWの検出回路28が構成される。
尚、上記実施例では、ブルー検出回路25から出力される背景色(背景領域)であるか非背景色(被写体領域)であるかを示す識別信号に基づいて、被写体の上下・左右の位置を示すパラメータ(HV,L,HW)を検出させたが、照明装置によってバックスクリーン6に被撮影者の影ができた場合、前記ブルー検出回路25では、この影を頭部として誤判定する惧れがある。
【0056】
そこで、本実施例のように、対象とする被写体が人物の顔である場合には、カラー画像信号から肌色を識別し、この肌色部分の画面内での位置を求め、肌色部分が画面内の所期位置に位置するようにオートフレーミングを行わせるようにしても良い。
具体的には、色覚を説明する際に用いられる2つの基底であるHVS(明度,彩度,色相)基底と反対色プロセス基底に基づくYIQ基底を用いる。
【0057】
前記HVS基底及びYIQ基底は、RGB基底から以下の式により導かれる(A.R.Smith, ”Color Gamut Transform Pairs ”Computer Graphics,Vol.12,pp.12-19 1978(Proc.SIGGRAPH 78 参照) 。
「HVS基底」
・B≦Gのとき
【0058】
【数1】

Figure 0003643988
【0059】
・B>Gのとき
【0060】
【数2】
Figure 0003643988
【0061】
「YIQ基底」
【0062】
【数3】
Figure 0003643988
【0063】
ここで、上記のH(色相)を前記ブルー検出回路25の代わりに設けた肌色検出回路で演算させれば、上記Hについて顔の肌色が背景のブルーや髪の黒に対して明確なピークを持っているから、前記Hのレベルに基づいて肌色部分であるか否かの判別信号を前記肌色検出回路から前記ブルー検出回路25と同様にして出力させることができる。
【0064】
そして、肌色部分を主要被写体として、この主要被写体の画面内の上下・左右の位置(例えは前記パラメータHV,L,HW)を検出することで、肌色部分を画面内の所期位置に位置させるオートフレーミングを実行させることができる。背景色を認識させて被写体位置を検出する場合には、背景に写った被撮影者の影や、髪型などに影響を受けて、顔の中心を画面内の中心に合わせることができなくなる惧れがあるが、上記のようにして顔の肌色部分を検出させれば、前記影や髪型(頭頂の出っ張りや左右非対称)の影響を受けず、顔を画面の所期位置に位置させることができる。
【0065】
同様に、YIQ基底のI成分も、肌色領域に対して明確なピークを有する成分であるから、このI成分をRGB信号から演算し、I成分のレベルに応じて肌色領域であるか否かの識別信号を出力させるようにすれば良い。
一方、図5において、前記ADコンバータ24によって変換されたディジタル画像信号は、画面上端から被写体上端までの距離HVに基づいてカメラ3の撮影向きが上下方向に調整された時点で、オートフレーミング用の画像メモリ30に記憶される。
【0066】
そして、かかる画像メモリ30からの読み出し時に、前記距離L,幅HWの情報に基づいて判別される被写体の左右方向の位置ずれ量に基づいて、プログラマブルカウンタ29によってメモリアドレスを指定させることで、読み出し位置を位置ずれ分だけ左右にシフトさせ、以て、被写体が画面左右方向の略中央に位置する画面を切り出して出力するようになっている。従って、本実施例における左右方向フレーミング手段は、画像メモリ30,プログラマブルカウンタ29,コンピュータによって構成される。
【0067】
ここで、前記プログラマブルカウンタ29の構成及び読み出し特性を以下に説明する。
まず、前記プログラマブルカウンタ29による読み出し位置の左右方向へのシフト量は以下のようにして決定される。
左右方向の位置を示すパラメータとして、前述のように画面左端から被写体(頭部)の左端までの距離Lと、頭部の幅HWとが検出されると、これらのデータとカメラ3の画面横サイズHD(画素クロック信号が14.318MHzで735 画素)とに基づいて画面中央から被写体中央までのずれ量L’(画素数)を、(HD−HW)/2−Lとして演算する。このずれ量L’は、被写体が画面上で左にずれている場合にはプラスの値として算出され、逆に、右方向にずれている場合にはマイナスの値として算出される。
【0068】
ここで、前記ずれ量L’をシフト量として、被写体が画面左右方向の略中央に位置するように読み出し位置をシフトさせれば良いことになる。
前記読み出し位置のシフトは、プログラマブルカウンタ29によるメモリアドレスの指示によって行われるが、前記プログラマブルカウンタ29は、図10に示すように構成されている。
【0069】
図10において、比較器71には、左寄りに被写体が撮影されたときに前記ずれ量L’がCPUから与えられ(ずれが左寄りでない場合には0が与えられる)、カウンタ72における画素クロック信号のカウント数が、前記ずれ量L’を越えるとハイレベル信号を出力する。
比較器71の出力がハイレベルに切り換わると、このハイレベル信号がNOT回路73でローレベル信号に反転されてAND回路74に入力され、画素クロック信号とNOT回路73の出力との論理積演算を行う前記AND回路74の出力がローレベルに固定されて、画素クロック信号のカウントが停止される。
【0070】
また、前記比較器71の出力は、AND回路75に入力され、このAND回路75で画素クロック信号と比較器71の出力との論理積演算が行われ、比較器71の出力がハイレベルであるときにのみ画素クロック信号がAND回路75から出力される。AND回路75の出力は、8ビットのプリセットカウンタ76に入力される。そして、この8ビットのプリセットカウンタ76及び2ビットのプリセットカウンタ77によって、AND回路75から出力される画素クロック信号をカウントし、かかるカウント値をトライステートバッファ78を介して読み出しアドレスとして画像メモリ30に出力する。
【0071】
従って、図11(A)に示すように、被写体が画面内で左寄りであって、比較器71にずれ量L’としてVドット(>0)が与えられたとすると、水平同期信号H.syncから前記Vドットだけ遅れた時点でアドレスが0からスタートされ、次に水平同期信号H.syncが発生したときにアドレスがリセットされるから、結果、1つの走査線上で最後の方のVドットは読み出されずに、Vドット分だけ遅れた時点で0から(HD−V)ドットまでの読み出しが指示される。
【0072】
このような読み出し時の右方向へのシフトにより、左側にVドットだけずれて撮影された被写体を、画面左右方向の略中央に位置させた画像を得ることができるものである。
一方、図11(B)に示すように、被写体が画面内の右寄りにずれている場合には、そのずれ量L’が前記プリセットカウンタ76に与えられる。ここで、前記右寄りのずれ量L’がWドットであったとすると、プリセットカウンタ76は、前記Wドットを初期値として画素クロック信号のカウントを始め、画像メモリ30に記憶されている0〜Wまでのデータの読み出しは行われず、カウント数がHD(735 )を越えると、読み出すべき記憶データがないので無効画像信号を出力する。
【0073】
従って、この場合は右方向にWドットだけずれて撮影された被写体を、読み出し時の左方向へのシフトによって画面左右方向の略中央に位置させた画像とすることができる。
尚、画像メモリ30に対して撮影された画像信号をそのまま書込むときには、トライステートバッファ78を介しての読み出しアドレスの出力を停止し、図示しないカウンタによって設定される通常の書き込みアドレスを、トライステートバッファ79を介して画像メモリ30に出力させる。
【0074】
ここで、前記ブリセットカウンタ76,77によって設定される左右方向にシフトされたアドレスデータを、画像メモリ30に対する画像信号の書き込み時に与え、左右方向へのシフトが行われた画面を画像メモリ30に記憶させる構成であっても良い。
前記画像メモリ30から読み出された画像(RGB毎の画像データ)、即ち、被写体が画面左右方向の略中央に位置するように左右方向へのシフトが行われた画像は、図5に示す構成で、DAコンバータ31によってアナログ信号に戻され、更に、ローパスフィルタ32及びバッファメモリ33を介して外部(IDカードプリンタ)に出力されるようになっている。
【0075】
そして、前記画像信号からIDカード用のイメージデータの合成に必要なサイズの画面の切出しが行われる。
前記画像メモリ30から読み出されてオートフレーミング基板10から出力される画像信号は、画面の略中央に被写体が位置し、かつ、被写体の上部に一定空間を有する画面である。従って、図12に示すように、左右方向の両端側を、出力画面サイズ(横735 ドット)とIDカードの作成用として最終的に必要な画面サイズ(横385 ドット)との差に基づいてそれぞれ同じ画素幅だけトリミングして、画面中央部のみを切り出せば、縦はオリジナルサイズのままで、横方向はトリミングによって余分な部分を除かれた必要サイズの画面を得ることができ、かつ、前記切り出した画面において、被写体の上部には一定の空間が設けられ、かつ、被写体は左右方向の略中央に位置することになる。
【0076】
ここで、ずれ量L’が大きいと、上記のようにして所定幅の画像を切り出すときに、切り出された画面内に無効画像部分が含まれることになってしまう。そこで、前記検出回路27,28における検出結果に基づいて被写体の画面内における左右方向のずれが所定値以上であるときには、合成音声や表示などによって被写体の人物にずれ量L’を減少させる方向に寄ることを指示するか、又は、撮影者に警告を発するようにすると良い。
【0077】
また、カメラ3の画面サイズ及び最終的に必要が画面サイズによっては、上下方向についてもトリミングを行って、IDカード用の顔画像データとして出力されるようにしても良い。
上記のようにして切り出された画像信号は、被写体の名前や住所や個人識別番号などの文字情報と電気的に合成されてIDカードのイメージデータが作成される。そして、かかるイメージデータに基づいてビデオプリンタでIDカードが作成される。ここで、被写体を画面内の所期位置に位置させるオートフレーミング制御が、確実に行われたことを確認できるように、前記画像メモリ30の読み出し画像又は該読み出し画像から切り出された画像を、CRT等の表示装置に表示させるようにしても良い。
【0078】
尚、図5において、34は、ビデオカメラ3,各検出回路26〜28,カウンタ29に同期信号(垂直同期信号又は水平同期信号)を出力するビデオクロックである。次に、図14のフローチャートに従って、上記構成によって行なわれるオートフレーミング制御の様子を、再度処理順に概略説明する。
まず、電源が投入されると(S1)、パルスモータ4により制御される撮影向きを中間位置(初期位置)にセットする(S2)。
【0079】
そして、次にビデオカメラ3に備えられた図示しないシャッタスイッチのオン・オフを判別する(S3)。シャッタスイッチが撮影者によって押された場合には、まず、検出回路26(上下位置検出手段)によって、ビデオカメラ3による撮影画像における被写体の頭と画面の上端との間の距離HVが検出される(S4)。
【0080】
ここで、前記検出された距離HVを予め設定されている目標値に近づける方向にビデオカメラ3の撮影向きを上下に変化させるべく、パルスモータ4に送る駆動パルス信号のパルス数を演算する(S5)。そして、前記パルス数の情報をパルスモータ駆動回路17に出力して、パルスモータ4の駆動によってビデオカメラ3の撮影向きを上下に調整し(S6)、実際の距離HVを目標値に一致させる。
【0081】
前記距離HVが目標に一致するようになると、画面左端から頭部の左端までの距離Lが、検出回路27で検出されると共に(S7)、検出回路28によって頭部の幅HWが検出される(S8)。
かかる検出においては、頭部上端に相当する走査線を基準とし、この基準走査線よりも予め決められている所定走査線数(尚、この所定走査線数がコンピュータから支持される検出位置データに相当する。)だけ下方に位置する走査線を検出位置として、画面左端から頭部までの距離(画素数)Lが検出される。
【0082】
前述のように、頭部上端を基準として左右方向位置を検出する走査線(画面上の高さ位置)を設定すれば、本来被写体の頭部を検出したいのに、頸の部分や肩の部分などが検出されてしまうことを回避できる。
上下方向の機械的にフレーミング調整が終了し、かつ、前記距離L及び幅HWが検出されると、そのときの上下方向のフレーミングのみが終了し左右方向の被写体ずれはそのままにされた画像が、画像メモリ30に記憶される(S9)。
【0083】
次いで、前記画像メモリ30に記憶された画像を読み出すときに、左右方向の位置ずれに応じてシフトして読み出させるためのシフト量データとして、撮影された顔画像における頭部中心と撮影画面の中心との位置ずれ量L’(=(HD−HW)/2−L)が、前記距離L及び幅HWに基づいて演算され(S10)、この左右方向の位置ずれ量L’がプログラマブルカウンタ29に設定される(S11)。
【0084】
これにより、画像メモリ30から左右方向にシフトされて画像信号が読み出され、被写体が画面の略中央に位置する画像が作成されるから、かかる画像信号の幅方向の中央部からIDカードの作成に必要なサイズの画像を切り出して、IDカード用イメージデータの作成に提供する(S12)。
このように、本実施例によると、被写体としての人物に大きな体格差があったり、椅子7に座ったときに左右の位置ずれが生じても、一定の画面内に一定の位置関係で顔画像を撮影させることができ、人手によるフレーミングの手間を省いて省力化及び撮影時間の短縮を果たすことが可能であり、例えば被撮影者本人にシャッタ操作を行なわせて撮影を行なわせたり、更には、椅子7に設けられたセンサによって被写体の人物が椅子7に座ったことをトリガーとしてシャッタ操作を行なわせることもでき、撮影の無人化を図ることも可能である。
【0085】
ここで、前述のような無人撮影を実行させる場合には、図15のフローチャートに示すような制御によって、被撮影者に音声による指示を与えることが好ましい。
図15のフローチャートにおいて、カメラを初期位置にセットした状態で(S21)、被撮影者に椅子に座るよう指示する音声(合成音声又は録音された音声)を発生させる(S22)。そして、被撮影者が椅子に座ったことが検出されるまでは(S23)、前記音声による着座の指示を繰り返させ、被撮影者が椅子に座ったことが検出されると、今度は、カメラのレンズを見ることをやはり音声で指示させる(S24)。
【0086】
前記椅子に被撮影者が座ったことを検出する構成としては、椅子に設けられた感圧センサを用いたり、光センサを用いたりすれば良く、特に、光センサを用いる場合には、撮影装置側に発光素子及び受光素子を設け、例えば椅子の背面における反射光の有無を検出させる構成とすれば、撮影装置と被撮影者との間の結線が不要となって好ましい。
【0087】
レンズを見るように音声で指示した後は、実際の撮影に入ることを被撮影者に音声で指示し(S25)、実際の撮影制御に移行する。
また、上記のような音声による指示と共に、又は、音声指示に代えて、指示内容を、図16に示すように、ビデオカメラ3のレンズの上方近傍位置に文字で表示させるようにしても良い。前記指示文字の表示は、レンズの上方近傍位置以外であっても良いが、その場合、被撮影者の目線が正面を向かなくなることになるから、上記のようにレンズの上方近傍位置とすることが好ましい。
【0088】
また、撮影終了に伴って退室を許可する指示や、被撮影者の次の行動の指示を行った方が好ましい。
尚、左右方向のオートフレーミングを、上下方向と同様に、ビデオカメラ3の機械的な移動によって行なわせることが可能であるが、ビデオカメラを上下左右に動かすためには、アクチュエータを複数備える必要があるなど装置が複雑化し、コストアップが大きいので、調整要求代の少ない左右方向のオートフレーミングについては、画像信号上での処理で行なえるようにして、オートフレーミングを実行させるためのコストの上昇を抑えている。
【0089】
また、上記実施例では、上下方向はビデオカメラ3を機械的に動かすことにより、また、左右方向についてはメモリに対する画像信号の書き込み又はメモリからの読み出し時に左右方向にシフトさせることで、オートフレーミングを行なわせるようにした。
しかしながら、以下に示すように、上下方向についても電気的な画像信号の切出しによってフレーミング処理する構成としても良い。
【0090】
画面の左右方向と共に上下方向についても画像信号を電気的に切り出すことでフレーミング処理を行わせる場合には、前記実施例におけるパルスモータ4,パルスモータドライバ17,カメラ位置センサ16a〜16cは不要となるが、この他の構成は、前記第1実施例に示した構成をそのまま用いることができる。
即ち、画面上端から被写体の頭までの距離HV、画面左端から頭までの距離L、更に、頭の幅HWの検出結果が入力されるコンピュータでは、これらの検出結果に基づき、画面上端から被写体頭部までの距離が所定値VLであってかつ左右方向の略中央に被写体が位置するような縦VD画素×横HD画素の画面(画枠)を、ビデオカメラ3による撮影画面内に設定する(図17参照)。
【0091】
そして、プログラマブルカウンタ29に対しては、前記切出し画面の設定に基づいてビデオカメラ3から出力された画面上で上下方向及び左右方向それぞれでの読み出し開始位置及び読み出し終了位置を示すデータを出力するようになっており、かかるデータに基づくプログラマブルカウンタ29によるメモリアドレスの指定によって、前記設定された切出し画面がフレーミング用画像メモリ30に記憶される。
【0092】
このように、第2実施例では、図17に示すように、最終的に必要とされる画面サイズ(縦VD画素×横HD画素)よりも縦横共に画素数の大きな撮像素子を用いて被写体を撮影することによって、被写体の位置に多少のばらつきがあっても、大きな画面サイズの撮像素子のいずれかの部分で捉えられるようにする。
そして、最終的には、画面内の所定位置に被写体が位置する一定した画像が欲しいので、撮像素子による撮影画面内における被写体の位置を上下及び左右方向でそれぞれ検出し、かかる検出結果に基づいて被写体の上部に一定の空間を有しかつ被写体が左右方向の略中央に位置する所定サイズの画面を切り出すものである。
【0093】
尚、第2実施例において、フレーミング画像切出し手段は、コンピュータのソフトウェア機能と、プログラマブルカウンタ29と、フレーミング用画像メモリ30とによって構成される。
次に、図18のフローチャートに従って、第2実施例におけるオートフレーミング制御の様子を詳細に説明する。
【0094】
まず、電源が投入されると(S31)、カメラ3のシャッタースイッチがONされるのを待つ(S32)。
そして、シャッタースイッチがONされると、検出回路26(上下位置検出手段)では、ビデオカメラ3による撮影画像において、被写体の頭と画面の上端との間の距離HVを検出する(S33)。
【0095】
ここで、頭部と画面上端との間隔HVは大きくばらついてしまうが、第2実施例においては、前記ばらつきがあっても撮影範囲内に被写体が余裕を持って収まるような比較的広い撮影範囲を設定してある。具体的には、最終的な切出し画面のサイズVD×HD画素(縦×横)に対して、ビデオカメラ3の画素数を縦横共に充分に大きく設定してあり、被写体は前記切出し画面サイズVD×HD画素に適合する倍率で撮影されるようにしてある。
【0096】
画面上端から被写体の頭部までの距離HVが検出されると、図17に示すように、予め設定された切出し画面上における画面上端から被写体の頭部までの距離VLと、前記実際の撮像画面上での距離HVとの偏差(HV−VL)を演算し、上下方向での読み出し開始位置のデータを得る(S34)。同時に、切出し画面の設定サイズVD×HD(縦×横)に基づいて、(HV−VL)+VDとして上下方向での読み出し終了位置のデータを得る。
【0097】
そして、前記上下方向での読み出し開始位置(上端画枠)及び読み出し終了位置(下端画枠)のデータをレジスタに書き込む(S35)。
続いて、被写体を画面の略中央に位置させるための左右方向での画枠の設定を行う。
まず、画面左端から被写体頭部の左端までの距離L及び頭部の幅HWを検出回路27で検出する(S36,S37)。
【0098】
ここで、横幅HDの切出し画面上で被写体が左右方向の略中央に位置する画像を、ビデオカメラ3の撮影画面上から切出すためには、左端からL−(HD−HW)/2だけ右側にシフトした位置から読み出しを行わせ、かかる読み出し開始位置から右方向に画素数HDの点を読み出し終了位置とすれば良いことになり(S38)、かかる左右方向での読み出し開始位置及び読み出し終了位置のデータをレジスタに書き込む(S39)。
【0099】
前記レジスタに書き込まれた上下方向及び左右方向の読み出し位置データは、プログラマブルカウンタ29に出力され、プログラマブルカウンタ29は、前記位読み出し位置データに基づいてフレーミング用画像メモリ30のメモリアドレスを指定することで、画面上端から頭部までの距離が一定距離VLでかつ被写体が左右方向の略中央に位置するサイズVD×HDの切出し画面を画像メモリ30に記憶させる(S40)。
【0100】
従って、第2実施例においても、一定の画面サイズ内に一定の位置関係で顔画像を撮影させた画像を得ることができ、人手によるフレーミングの手間を省いて省力化及び撮影時間の短縮を果たすことが可能である。然も、第1実施例のように、カメラを機械的に動かしてフレーミングを行う構成ではないから、カメラを動かしてフレーミングを行わせる場合に比べ、フレーミングのために長い時間を必要とせず、また、撮影装置を簡素に構成できる。
【0101】
また、本実施例のビデオカメラ3では、被写体の位置ずれがあっても被写体が確実に撮影されるように撮影範囲を広く設定してあるから、画像認識の技術を用いて被写体が撮影範囲内に入ってきたことを検知し、例えば合成音声によって椅子に座ってカメラの方向を真っ直ぐに向くよう指示し、被写体の動きが略停止しかつ前記上下左右の位置ずれの検出結果が許容範囲内になった時点でシャッタが切れるようにすることもできる。
【0102】
特に、本実施例の撮影装置を応用して撮影者不在の無人撮影を行わせる場合には、被写体が正規に椅子7に座っていない状態でシャッタが切られる場合があり、これは、前記位置検出データ(HV,L,HW)が過小又は過大になることで検知できるから、この場合には、警告ブザーや合成音声などによって撮影のやり直し及び被写体の撮影姿勢の矯正を指示するようにすると良い。
【0103】
ところで、例えばIDカード上の顔写真のサイズを30×24mm(縦×横)とし、記録密度を16ドット/mmとすると、前記切出し画面のサイズとしては480 ×384 画素(縦×横)の大きさを必要とする。ここで、ハイビジョン用ビデオカメラで撮像素子のサイズが2000(横)×1125(縦)画素であるとすると、かかる画面サイズから前記480 ×384 画素の画面を切り出すとすれば、上下方向に2.3 倍、左右方向に5.2 倍の余裕(可動範囲)が確保できる(図19参照)。
【0104】
更に、前記ハイビジョン用ビデオカメラを90°だけ寝かせて撮影すれば、図20に示すように撮影されることになり、切出し画面を電気的に90°回転させる処理を施せば正規の画像を得ることができる。この場合、上下方向の余裕が4.2 倍になり、左右方向の余裕は3倍になるから、特に、座高のばらつきが大きい場合には、アスペクト比の大きい方を被写体の上下方向とする撮影を行わせることが、ばらつきを許容する上で有利となる。
【0105】
また、上記ハイビジョン用ビデオカメラのように撮像素子の画面サイズが大きい場合(最終的に必要とする画面の画素数に対して、撮像素子の画像数が大幅に多い場合)には、被写体の位置ばらつきを容易に吸収して、被写体の胸部から上の部分を欠けることなく撮影することが可能である。しかしながら、例えば通常のNTSC規格のビデオカメラであって撮像素子の画素数が525 (縦)×700 (横)画素程度であると、前記480 ×384 画素の画面を切り出す場合に、図21に示すように特に上下方向の余裕が少なくなり、被写体の体格ばらつきによっては、特に頭部上方に所定空間を有する画面を切出すことができなくなる場合がある。
【0106】
このように、使用するビデオカメラの撮像素子の画素数が少ない場合には、図22に示すようにレンズの倍率を例えば1/2にし、切出し画面のサイズも1/2(240 ×192 画素)として、切出し後の画面を2倍に拡大して480 ×384 画素の画面を得るようにすれば良い。このように撮影倍率を半分にして切出し画面のサイズを半分にすれば、それだけ被写体の位置ばらつきに対する余裕を大きく確保することができるようになる。但し、画質の点では、最終的な必要画素サイズをそのまま切出した方が有利である。
【0107】
前記切出し後の画面の拡大は、公知の単純拡大又は線形補間など技術を用いれば良く、上記の機能が本実施例における画面拡大処理手段に相当する。
尚、被写体の撮影は正面に限るものではなく側面の画像を同様にして撮影することも可能であり、被写体の正面を撮影するビデオカメラ3と共に、側面を撮影するビデオカメラを設置し、正面画像と側面画像とを同時に撮影する構成とすることもできる。
【0108】
また、本実施例では、左右方向の位置ずれを検出する位置として、頭部上端から所定距離だけ下方位置としたが、複数箇所で左右方向の位置ずれを検出し、これらの平均値を用いたり、また、複数箇所での検出結果に所定以上の差異があるときには警告を発するなどすることもできる。
また、本来の撮影を行うカメラを少なくとも含む複数のカメラを設置し、被写体を複数の方向から撮影して得た画像情報に基づいて被写体の状態を3次元的に認識し、かかる認識結果に基づいて被写体位置の矯正などを合成音声で指示することも可能である。
【0109】
更に、本実施例ではビデオカメラ3から出力されるカラービデオ信号をRGBの3原色信号としたが、通常のカラービデオ信号や、カラー信号と輝度信号とに分かれた信号であっても良く、また、輝度レベルに基づいて輪郭を抽出してオートフレーミングを行なわせる構成であっても良いので、白黒画像であっても良い。
【0110】
また、オートフレーミング前の画像データをオートフレーミング後も記憶する画像メモリを別途設けると共に、該画像メモリの出力を再生するCRTを別途設け、オートフレーミング前の画像とオートフレーミング後の画像とを2つのCRTにそれぞれ表示させ、オートフレーミングが間違いなく行なわれたことをCRT上で目視確認できるようにしても良い。
【0111】
また、本実施例では、IDカード作成用としての顔画像撮影について述べたが、上記構成で得られた画像信号を用いて顔画像のみを証明写真としてプリントさせる構成であっても良いし、また、得られた顔の画像信号をプリントなどによる外部出力を行わず、一旦、電子ファイリング装置にファイルする構成であっても良い。
【0112】
【発明の効果】
以上説明したように本発明にかかる撮影装置によると、被写体を画面内の所期位置に位置させるための人手によるカメラの向き調整が不要となるので、撮影の自動化を図ることが可能であり、特に、人物の顔画像を証明写真用として撮影する際に、撮影に要する時間及び人員の削減を果たすことができるようになるという効果がある。
【0113】
また、撮像ユニットに入射される前記光学像の上下方向における位置を変化させる場合には、被写体の上下方向の位置ずれに対する許容度が高くなり、また、上下方向についても画像信号の電気的な切出しでフレーミングを行う場合には、装置構成を簡略化できる。
また、左右方向及び上下方向について電気的に画像信号を切り出すときに、小さく切出して後から拡大させるようにすれば、大きなサイズの撮像素子を必要としなくなる。
【0114】
更に、撮像ユニットからカラー画像信号を得て背景色を認識することで被写体位置を検出させる構成であれば、一定の背景色を撮影条件とする場合に、簡便に被写体位置を検出できる。
また、被写体が人物の顔である場合には、顔の肌色の部分が被写体の主要部分であるから、カラー画像信号から肌色を認識することで、影や髪型に影響されずに肌色の部分を被写体位置として検出でき、前記肌色部分を画面内の所期位置に位置させるようにできる。
【図面の簡単な説明】
【図1】本発明にかかる撮影装置の基本構成を示すブロック図。
【図2】本発明にかかる撮影装置の基本構成を示すブロック図。
【図3】実施例のシステム構成を示す外観斜視図。
【図4】オートフレーミング用制御ユニットの構成を示すブロック図。
【図5】オートフレーミング基板の構成を示すブロック図。
【図6】画面上端から頭までの距離を検出する回路を示すブロック図。
【図7】上下位置の検出回路の特性を示すタイムチャート。
【図8】左右方向の位置ずれデータを検出する回路を示すブロック図。
【図9】左右位置の検出回路の特性を示すタイムチャート。
【図10】プログラマブルカウンタの構成を示すブロック図。
【図11】画像信号の読み出し時の左右方向シフトの様子を示す図。
【図12】IDカード用の画像切出しを示す図。
【図13】被写体の位置ずれパラメータを示す図。
【図14】オートフレーミング制御の様子を示すフローチャート。
【図15】無人撮影時の音声指示の様子を示すフローチャート。
【図16】無人撮影時の文字による指示を示す図。
【図17】第2実施例の画面切出し状態を説明するための図。
【図18】第2実施例のオートフレーミング撮影を示すフローチャート。
【図19】ハイビジョンカメラにおける画面切出しの一例を示す図。
【図20】ハイビジョンカメラを横に寝かせた場合の画面切出しの様子を示す図。
【図21】撮像素子の撮影画面に対して切出し画面サイズが不適当である例を示す図。
【図22】撮影倍率を下げて切出し画面サイズを縮小した実施例を示す図。
【符号の説明】
1 台
2 手動式エレベータ
3 ビデオカメラ
4 パルスモータ
5 撮影レンズ
6 バックスクリーン
7 椅子
10 オートフレーミング基板
25 ブルー検出回路
26〜28 検出回路
29 プログラマブルカウンタ
30 画像メモリ[0001]
[Industrial application fields]
The present invention relates to a photographing apparatus, and more specifically, even if there is a vertical / horizontal misalignment of a subject, the photographing apparatus automatically compensates for this to obtain an image in which the subject is positioned at a predetermined position in a screen. It relates to a device that can.
[0002]
[Prior art]
Among so-called ID cards (Identification Cards), an ID card for certifying a specific qualification records a face image of the person and ID data (character information) such as the person's address, name, personal identification number, etc. Often to do.
As a method for creating the ID card as described above, the face image of the person is taken with a video camera, the face image data obtained by the video camera, ID data such as name, address, personal identification number, etc., which are input separately, There is a technique in which image data for an ID card is created by electrically synthesizing the images, and an ID card is created by a printer based on the image data (see Japanese Patent Laid-Open No. 1-206098).
[0003]
[Problems to be solved by the invention]
When taking a face image for an ID card using a video camera as described above, the person himself / herself is taken in the same way as when taking ID photographs using a silver salt photographic light-sensitive material (silver salt film). Is placed on a chair placed in front of the back screen, and the person in charge of the photograph shakes the camera up and down and left and right while checking it on the viewfinder and monitor, and the face image of the person is cut by the image frame. The shutter is released after the adjustment is made so that it is positioned at the approximate center in the screen.
[0004]
In other words, when the person is seated on a chair as described above, although the subject's lateral displacement is relatively small, there is a large variation in the sitting height of each person in the vertical direction. If you want to take a picture of the person's face almost completely, if the specialist in charge confirms the image taken with the camera on the monitor, it will be necessary to adjust the orientation of the camera to the optimal position, The necessity for the adjustment work is a cause of hindering the shortening of the photographing time and the production personnel in the creation of the ID card.
[0005]
The present invention has been made in view of the above problems, and provides a photographing apparatus that does not require manual adjustment of the orientation of a camera for positioning a subject at an intended position in a screen, and particularly a face image for use in an illumination photograph. An object of the present invention is to shorten the cycle time of shooting and to automate shooting.
[0006]
[Means for Solving the Problems]
  Therefore, the photographing apparatus according to the present invention is configured as shown in FIG. 1 or FIG.
  In FIG. 1, the imaging unit converts an optical image into an electrical image signal. The vertical position detecting means analyzes the image signal obtained by the imaging unit,Detect the top edge of the subject in the screen,Further, the left and right position detecting means analyzes the image signal obtained by the imaging unit,At a predetermined height position on the screen relative to the position of the upper end of the subject, the distance from either the left or right end of the screen to the subject end and the width of the subject are respectively detected.
[0007]
Then, the framing image cutout unit is configured to generate an image signal obtained by the imaging unit with a screen having a predetermined screen size where the subject is positioned at a predetermined position in the screen based on the detection results of the vertical position detection unit and the horizontal position detection unit. Electrically cut out from.
Here, the framing image cutout unit is configured to cut out a screen having a smaller number of pixels than the finally required number of pixels, while the screen obtained by the framing image cutout unit is enlarged to perform the processing. A screen enlargement processing unit that matches the number of pixels finally required can be provided.
[0008]
  On the other hand, in FIG. 2, the imaging unit converts an optical image into an electrical image signal, and the vertical position detecting means analyzes the image signal to determine the vertical position of the subject on the screen.To detect.
  Meanwhile, the imaging unitThe position in the vertical direction of the optical image incident onChangeAdjustment meansIs provided,This adjustment meansBased on the vertical position detected by the vertical position detection meansThen, the position in the vertical direction of the optical image incident on the imaging unit is changed so that the predetermined part of the subject is positioned at a predetermined distance from the upper end or the lower end of the screen.
  Here, as the adjusting means, for example, a configuration in which the photographing unit is swung up and down around a horizontal axis, or a configuration in which the photographing unit is translated in the vertical direction can be adopted.
[0009]
Further, the image signal obtained by the imaging unit after application of the vertical framing means is analyzed, and a screen in which a subject is located at a predetermined position in the screen is obtained by the imaging unit after application of the vertical framing means. A framing image cutout means for electrically cutting out from the image signal can be provided.
Here, the framing image cut-out means analyzes, for example, an image signal obtained by the imaging unit after application of the up-and-down framing means, and detects a position of the subject in the left-right direction within the screen. And a screen in which a subject is located at a predetermined position in the screen based on the position in the left-right direction detected by the left-right position detecting means is electrically generated from an image signal obtained by the imaging unit after application of the vertical framing means. And left and right framing means.
  The vertical position detecting means may be configured to detect the position of the upper end of the subject in the screen.
[0010]
Further, the framing image cut-out means and the horizontal framing means shift a reading position from the memory storing the image signal obtained by the imaging unit or a writing position to the memory of the image signal obtained by the imaging unit. Thus, the screen in which the subject is located at the desired position in the screen can be electrically cut out.
[0011]
  The left and right position detection meansIt is preferable to detect the distance from either one of the left and right sides of the screen to the subject edge and the width of the subject at a predetermined height position of the screen shot by the imaging unit.
[0012]
  Further, the imaging unit converts an optical image into a color image signal, and the vertical position detecting means and/ OrLeft / right position detection handSteps, By recognizing the background color from the color image signal output from the imaging unit,/ OrHorizontal positionCheck the positionCan be configured to issue.
  When the subject is a human face, the upper and lower position detecting means and the skin color of the face are recognized from the color image signal output from the imaging unit./ OrThe left and right position detection means/ OrHorizontal positionCheck the positionCan be configured to issue.
  Moreover, it is preferable to include an image display means for displaying an image based on the image signal obtained by the imaging unit.
[0013]
[Action]
  According to the imaging apparatus having such a configuration, even when the subject is displaced vertically and horizontally with respect to the imaging range of the imaging unit, the positional deviation isBy detecting the position of the top edge of the subject, and detecting the distance from the left or right edge of the screen to the edge of the subject and the width of the subject at a predetermined height position based on the position of the top edge of the subjectDesired. Then, based on the detection information of the positional deviation, an image having the subject in the vertical direction and the horizontal direction is electrically cut out from the screen shot by the imaging unit, and the subject is in the desired position in the screen. The image located in is obtained.
[0014]
  Further, in the electrical clipping of the image, a screen having a smaller number of pixels than the finally required number of pixels is cut out, and after the clipping is performed, an enlargement process is performed to match the required number of pixels, so that the subject is Even if a positional shift occurs, it is possible to photograph the subject small so that the image is surely photographed within the photographing range of the imaging unit. Also, instead of framing both the vertical and horizontal directions by electrical processing as described above,The position in the vertical direction of the optical image incident on the imaging unitThe tolerance for the positional displacement of the subject in the vertical direction is increased.
[0015]
  Also,When cutting out the screen where the subject is located at the intended position in the screen, the reading position of the image signal stored in the memory or the writing position of the image signal obtained by the imaging unit to the memory can be shifted left and right or up and down. Thus, a desired image can be easily cut out.
[0016]
  Here, the left and right position detection meansIf the distance from the left or right edge of the screen to the edge of the subject and the width of the subject are detected at a predetermined height position on the screen, the position of the subject center in the screen is obtained based on the detection result. Based on such information, it is possible to obtain a screen in which the subject is positioned approximately at the center in the horizontal direction of the screen.
[0017]
  Furthermore, when the imaging unit outputs a color image signal and shooting is performed with a specific background color set, the background color is recognized from the color image signal, so that the subject portion is defined as a non-background portion. Which can be recognized by the vertical direction of the subject and/ OrThe position in the left-right direction can be detected.
  If the subject is a human face, the skin color part of the face is the main part of the subject, so if the skin color is recognized from the color image signal, the skin color part is displayed on the screen without being affected by the shadow or hairstyle. It can be placed in the desired position.
  Furthermore, by providing an image display means, it is possible to visually check the subject position.
[0018]
【Example】
Examples of the present invention will be described below.
Note that the photographing apparatus of the present embodiment described below is an apparatus for photographing a person's face image (an image including a face and a shoulder) attached to an ID card. The image signal output from the photographing apparatus of the present embodiment is output to the ID card printer, where it is electrically combined with character information such as name and address to create image data for the ID card. An ID card is created based on the image data.
[0019]
FIG. 3 is an external perspective view of the photographing apparatus according to the present invention, and a video for converting a photographed optical image into an electrical image signal (color image signal) in a manual elevator 2 installed on a table 1 with casters. A camera 3 (imaging unit) is supported. The manual elevator 2 can move the video camera 3 main body up and down in parallel by manually turning a handle (not shown). The manual elevator 2 sets the vertical reference position of the video camera 3. The configuration can be set.
[0020]
The video camera 3 is provided with a pulse motor 4 as an actuator for swinging the shooting direction of the video camera 3 up and down, and is orthogonal to the optical axis of the shooting lens 5 by the pulse motor 4. By swinging the main body of the video camera 3 around the axis, the shooting direction can be changed up and down. Specifically, for example, the video camera 3 may be supported so as to be swingable up and down with respect to the manual elevator 2 and the swing shaft may be rotationally driven by the pulse motor 4.
[0021]
On the other hand, the subject person is seated on a chair 7 placed at a predetermined position in front of the blue back screen 6, and the back screen 6 and the chair 7 are installed, for example, from the end surface of the chair 7. The stage 1 is moved to a position at a distance (for example, 2 m), and set so that the video camera 3 faces the subject at a predetermined distance from the front. The face of the person sitting on the chair 7 when the video camera 3 is turned substantially horizontally by operating the manual elevator 2 based on the height of the chair 7 or the average sitting height of the target person. Set the initial state so that an image can be taken.
[0022]
  Here, the photographing apparatus is provided with an auto framing function as described below.
  First, the vertical displacement of the subject person sitting on the chair 7 with respect to the shooting range of the video camera 3 is detected by analyzing the image signal obtained by the video camera 3. And based on the detected vertical displacementChanging the position of the optical image incident on the imaging unit in the vertical direction.
  In the case of the imaging apparatus shown in FIG. 3, the imaging unit according to the present invention corresponds to the video camera 3. However, as described above, the imaging unit has an effect of converting an optical image into an electrical signal. good.
[0023]
Next, the positional deviation in the left-right direction of the subject person sitting on the chair 7 with respect to the shooting range of the video camera 3 is detected by analyzing the image signal obtained by the video camera 3. Then, based on the detected lateral displacement, an image is created in which the subject is located at the approximate center in the lateral direction from the image signal.
Thus, an image in which the subject is located at a predetermined position in the screen can be automatically obtained, and a control circuit for realizing such an auto framing function is provided as follows.
[0024]
FIG. 4 shows a basic configuration of an auto framing control unit provided in the base 1, and the control unit shown in FIG. 4 is an auto framing board on which a computer and an auto framing circuit are assembled. 10 is the main element.
The control unit comprising the computer and the auto framing board 10 has functions as vertical position detecting means, actuator control means, left and right position detecting means, and left and right direction framing means in this embodiment, as will be described later. .
[0025]
An analog color image signal (video signal for each of the three primary colors of RGB) from the video camera 3 is input to the auto framing board 10 and has a function of outputting an image signal subjected to auto framing. I have.
On the other hand, the computer includes a CPU 11, a ROM 12, a RAM 13, a timer 14, a general-purpose interface for debugging (for example, RS232C) 15, and the like, and the exchange of data with the auto-framing board 10 is a peripheral interface interface. This is performed via an adapter (PiA).
[0026]
The auto framing board 10 determines the distance L from the upper end of the screen to the subject's head (a predetermined part of the subject), the distance HV from the left end of the screen to the head, and the head width HW based on the input video signal. This information is output to a computer.
On the other hand, the computer controls the pulse motor 4 based on the vertical position data HV, and calculates data indicating the lateral displacement of the subject based on the horizontal position data L and HW. Is output to the auto-framing substrate 10 and data (lateral shift inspection position specifying data) for specifying the position where the position data L, HW in the left-right direction is detected is output to the auto-framing substrate 10.
[0027]
The computer receives detection signals from photographing direction sensors 16a to 16c that detect the swing position of the video camera 3 by the pulse motor 4 in three stages (upper, middle, and lower), and a drive circuit for the pulse motor 4 17 is configured to output a drive control signal, and the actuator control means in this embodiment corresponds to a computer including the CPU 11 and the like.
[0028]
The auto framing substrate 10 includes a circuit as shown in FIG.
In FIG. 5, RGB video signals output from the video camera 3 are converted into digital image signals (8 bits) by an AD converter 24 after passing through a buffer amplifier 21, a low-pass filter 22, and a pedestal clamp 23.
[0029]
The digital image signal is input to a blue detection circuit 25 corresponding to blue on the back screen 6 which is the background color in this embodiment, and the blue detection circuit 25 detects a blue region (background color region) in the screen. Is called. Then, based on the detection result of the blue region, each of the detection circuits 26 to 28 obtains a distance HV from the upper end of the screen to the head of the subject, a distance L from the left end of the screen to the head, and a head width HW (see FIG. 13), and outputs the detection result to a computer.
[0030]
The blue detection circuit 25 compares R, G, B digital image signals with predetermined values r, g, b set in advance corresponding to the background color blue, for example, R ≦ r and 1-bit information indicating whether or not G ≧ g and B ≧ b is determined as a pixel corresponding to the background portion, and other pixels as pixels corresponding to the non-background portion (subject portion) and corresponding to the background portion May be configured to output.
[0031]
Depending on the background color, the setting of the magnitude relationship of each color image signal with respect to a predetermined value and the logical operation (logical product or logical sum) may be used separately to determine the background color used at that time.
In the case of the present embodiment, since the background color is blue of the back screen 6, if a certain space is photographed on the subject's head, the predetermined number of scanning lines above the screen A color image signal corresponding to the color should be obtained. Therefore, if the color components of each scanning line are analyzed in order from the top of the screen, the scanning line in which a color image signal not corresponding to the background color first appears is assumed to be the scanning line corresponding to the upper end of the subject's head. The distance HV between the head of the subject and the upper end of the screen can be detected as the number of scanning lines until the scanning line corresponding to the head is detected for the first time.
[0032]
In particular, in ID card photography, there is often a condition without a cap. However, since blue, which is a color that does not normally appear on the head, is selected as the background color, The distance HV from the head can be detected with high accuracy.
Similarly, the distance L from the left end of the screen to the right end of the subject can be detected by counting the number of pixels from the left end of the screen until the pixels corresponding to the background color are interrupted at a predetermined height position in the screen. The head width HW can be detected by counting the number of pixels from when the pixel corresponding to the background color is interrupted until a color image signal corresponding to the background color is obtained again.
[0033]
FIG. 6 is a diagram showing the configuration of the distance HV detection circuit 26. The detection circuit 26 will be described below with reference to the time chart of FIG.
In FIG. 6, the blue detection circuit 25 outputs 1-bit information that becomes 1 when the pixel corresponds to the background color and becomes φ when the pixel corresponds to the non-background color (subject region), for example. Then, the inverted data of the 1-bit background color information from the blue detection circuit 25 and the inverted data of the blanking signal BLK are respectively input to the AND circuit 41. The inverted output of the AND circuit 41 is changed to a low level only when a process for erasing the background color discrimination is performed and a non-background color pixel appears in the screen.
[0034]
The inverted output of the AND circuit 41 is output to a flip-flop 42 that is reset by a vertical synchronizing signal. The output Q of the flip-flop 42 is inverted to a high level when a pixel of a non-background color appears for the first time, and is reset. The vertical sync signal V. This state is maintained until sync is output.
On the other hand, the inverted data of the output Q of the flip-flop 42 and the horizontal synchronizing signal H. Inverted data of sync is input to the AND circuit 43, and the AND circuit 43 outputs the horizontal synchronization signal H.P when the output of the flip-flop 42 is at a low level. A pulse signal that rises at every sync is output to the counter 44.
[0035]
That is, it is monitored whether or not a non-background color appears in order from the upper end of the screen. When sync (the number of scanning lines) is counted and pixels of a non-background color (subject) appear, the output Q of the flip-flop 42 is switched to a high level by switching the output of the AND circuit 41 to a low level. Vertical synchronizing signal V. Until sync is output, the output of the pulse signal from the AND circuit 43 is stopped, so the distance HV from the upper end of the screen to the upper end of the object is output from the counter 44 to the computer side as the number of scanning lines for each screen. The
[0036]
As described above, the distance HV detection circuit 26 (up / down position detection means) includes the AND circuits 41 and 43, the flip-flop 42, and the counter 44.
Here, the distance HV detected by the detection circuit 26 is compared with the target value of the distance HV, and the video motor is controlled by controlling the pulse motor 4 so that the actual distance HV matches the target value. 3 is adjusted in the vertical direction.
[0037]
That is, the subject person is sitting on the chair 7 and the distance to the video camera 3 is kept constant, but the height of the face varies greatly depending on the individual's physique. Even if the height of the manual elevator 2 is adjusted, the distance HV between the head and the upper end of the screen varies greatly in the face image that is actually captured, and if any adjustment is not performed for each subject, There is a possibility that the head protrudes from the top of the screen, or conversely, there is too much space above the screen and the lower part of the face is cut off.
[0038]
Therefore, when the distance HV between the head and the upper end of the screen is detected as described above, the computer calculates the pulse motor 4 based on the difference between the preset predetermined interval (target value) and the actual distance HV. The number of pulses of the drive pulse signal to be sent to is calculated, information on the number of pulses is output to the pulse motor drive circuit 17, the shooting direction of the video camera 3 is changed by driving the pulse motor 4, and the actual distance HV is set at a predetermined interval. To match.
[0039]
By such drive control of the pulse motor 4, an image with a constant distance HV between the upper end of the screen and the head can be obtained even if the subject person has a physique difference. That is, even when the distance HV in the image before auto-framing is larger or smaller than a desired value (see FIG. 13), the video camera 3 is set in a shooting direction so that the distance HV approaches a predetermined value. By automatically moving up and down, auto framing is performed so that at least the space above the head on the screen has a certain width.
[0040]
However, when the subject is tall and the head protrudes from the upper end of the screen and the distance HV is detected as 0, conversely, the subject is short and the subject is completely reflected in the screen. If not, the amount of movement of the camera 3 necessary for setting the distance HV to the target value will be unknown. Therefore, in such a case, the camera 3 is moved up and down by a predetermined amount in a direction to bring the distance HV closer to a predetermined value, and a space is taken between the upper end of the screen and the upper end of the subject. At this stage, the movement amount of the camera 3 for matching the distance HV with the target value may be determined based on the distance HV at that time.
[0041]
In the present embodiment, the camera 3 is configured to swing up and down about the horizontal axis as a mechanism for moving the photographing direction of the camera 3 up and down. However, an electric type is used as the elevator 2, and the camera is driven by the electric elevator. The structure which translates 3 up and down may be sufficient.
When the camera 3 is moved up and down in parallel, there is an advantage that the subject (person) can always be photographed from the front, but generally there is a problem that it takes time to move and auto-framing cannot be performed quickly. In this regard, in the case of a configuration in which the camera 3 is swung up and down, shooting is performed so that a tall person looks up, and conversely, a short person looks down from above. In the case of a long period of time, there is no big problem in shooting, and there is an advantage that adjustment can be completed in a single time.
[0042]
Calculation of the number of pulses of the drive pulse signal sent to the pulse motor 4 is performed as follows.
That is, the number of horizontal scanning lines of the image by the video camera 3 is M, the number of scanning lines corresponding to the distance HV is N, the number of scanning lines corresponding to the target of the distance HV is Nt, and the shooting range to be cut out as an image signal at the subject position is shown. If the vertical length is A, the distance from the camera 3 to the subject is Ls, and the rotation angle when one pulse is applied to the pulse motor 4 is θ, the horizontal scanning line is used to make the distance HV coincide with the target value. The object size B corresponding to the number of scanning lines (N−Nt) is B = (N−Nt) · A / M (mm). Therefore, the rotation angle Θ required to make the distance HV coincide with the target value is Θ = tan (B / Ls) = tan {(N−Nt) · A / (Ls · M)}, and the pulse motor 4 The number of pulses P to be sent to is P = Θ / θ = tan {(N−Nt) · A / (Ls · M)} / θ.
[0043]
However, if the camera 3 is greatly rotated from the state in which it is horizontally oriented, the movement of the actual photographing range increases with respect to the subject size B = (N−Nt) · A / M (mm) obtained by calculation. Therefore, it is preferable to perform some correction. When the rotation angle Θ is very small and slightly rotated from near the horizontal, the subject size ΔB1 per pulse is ΔB1 = Ls · tan θ, but the rotation angle Θ is very large and the object is rotated greatly from the horizontal. In this case, the subject size ΔB2 per pulse is ΔB1 = Ls · tan (Θ + θ) −Ls · tanΘ (= Ls · tan ((tan-1B2 / Ls) + θ) −Ls · tan (tan-1B2 / Ls)). Therefore, in the case of a large rotation from the horizontal position, a pulse number of P · (ΔB1 / ΔB2) is preferably given.
[0044]
In addition, since the correction is necessary when the required rotation angle Θ is large as described above, the parallel movement in the vertical direction and the swing are combined, and the camera is translated in the vertical direction within a range in which the movement time is not excessive, Adjustment in the rotational direction may be performed so that an image with less tilt (looking up or looking down) may be obtained even when the distance between the camera and the subject is short.
[0045]
  On the other hand, the detection circuit 27 for the distance L and the detection circuit 28 for the width HW (left and right position detection means) are configured as shown in FIG. 8, and the detection circuits 27 and 28 will be described below with reference to the time chart of FIG. explain. The detection result by the detection circuits 27 and 28 is the distance.HVIt is assumed that the detection result at the stage when the detection result matches the target value is finally adopted.
[0046]
In FIG. 8, the output of the blue detection circuit 25, the blanking signal (blank signal BLK), the lateral shift inspection position designation data from the CPU, and the noise removal signal from the flip-flop 57 are input to the AND circuit 51. Is done.
The lateral shift inspection position designation data is a signal that is output to a high level only when it is a scanning line that detects the position in the left-right direction by counting the horizontal synchronization signal, and noise influence output from the flip-flop 57 is eliminated. As will be described later, the use signal is used to prevent the detection accuracy of the distance L from being deteriorated due to the influence of noise after being clamped at a low level when the non-background portion (subject) is first detected.
[0047]
The AND circuit 51 outputs a high level only from the start of scanning of the scanning line for detecting the distance L until the pixel corresponding to the subject is output for the first time. The output of the AND circuit 51 is A / D The pixel clock signal (14.318 MHz) of the converter 24 is output to the AND circuit 52 to which the pixel clock signal is output. The AND circuit 52 outputs the pixel clock signal only when the output of the AND circuit 51 is at a high level.
[0048]
The counter 53 counts the pixel clock signal output from the AND circuit 52 and outputs the count result as the distance L.
The output of the AND circuit 51 is input to the flip-flop 55 via the NOT circuit 54. The flip-flop 55 is a T flip-flop whose output is inverted at the rise of the signal output from the NOT circuit 54. Since the output of the NOT circuit 54 rises at the left end portion of the subject, it is flipped at the left end portion of the subject. Inverted output Q bar in step 55 is inverted.
[0049]
The output Q bar of the flip-flop 55 is inverted together with the reset signal from the CPU and input to the OR circuit 56. The inverted output of the OR circuit 56 is output as the reset signal of the flip-flop 57.
The output of the NOT circuit 58 to which the lateral deviation inspection position designation data is input is input to the flip-flop 57 as a set signal.
[0050]
With this configuration, when the left end portion of the subject is detected at the lateral deviation inspection position, the inverted output Q bar of the flip-flop 55 is switched to a low level, whereby the output of the OR circuit 56 is switched to a low level. Then, the output Q of the flip-flop 57 is switched to a low level, and the AND circuit 51 to which the output Q of the flip-flop 57 is input, even if a pixel corresponding to the background color is detected thereafter, the output becomes a high level. There is no inversion.
[0051]
That is, when the left end of the subject is first detected by the flip-flops 55 and 57, the OR circuit 56, and the NOT circuit 58, the detection of the distance L has an effect even if the pixel corresponding to the background color is detected thereafter. It is not to receive.
As described above, the output Q of the flip-flop 57 switches to the low level at the left end of the subject, and the inverted output Q bar of the flip-flop 57 rises to the high level at the left end of the subject. The inverted output Q bar of the flip-flop 57 is output to the flip-flop 63 and raises the output Q of the flip-flop 63 output to the AND circuit 59.
[0052]
The other input terminal of the AND circuit 59 receives the output of the NOT circuit 60 to which the output of the blue detection circuit 25 is input, and the inverted output Q bar of the flip-flop 57 is the left end of the subject. When the signal rises at the portion, a high level signal is continuously output until the signal output from the blue detection circuit 25 rises to the right end portion of the subject.
[0053]
The output of the AND circuit 59 is input to the AND circuit 61. Here, the pixel clock signal is output from the AND circuit 61 from the left end to the right end of the subject by calculating a logical product with the pixel clock signal. The The pixel clock signal output from the AND circuit 61 is counted by the counter 62, and the count result of the counter 62 is output as the head width HW.
[0054]
Here, the output of the AND circuit 59 is input to the flip-flop 65 through the NOT circuit 64, and the rise of the signal output from the NOT circuit 64, that is, the output Q bar falling at the right end portion of the subject is flip-flops. Is output from
The output Q bar of the flip-flop 65 is inverted and input to an OR circuit 66 to which a reset signal from the CPU is inverted. When the output Q bar falls, the output Q of the flip-flop 63 falls, When the right end of the subject is detected, the output of the AND circuit 59 is prevented from rising thereafter, and even if noise occurs in the output of the blue detection circuit 25, the detection of the width HW is not affected. It is.
[0055]
As described above, the AND circuit 51, 52, the NOT circuit 54, 58, the flip-flop 55, 57, the OR circuit 56, and the counter 53 constitute the distance L detection circuit 27, and the AND circuit 59, 61, the NOT circuit 60, The flip-flops 63 and 65, the OR circuit 66, and the counter 62 constitute a detection circuit 28 having a width HW.
In the embodiment described above, the vertical and horizontal positions of the subject are determined based on the identification signal indicating whether the background color (background region) or the non-background color (subject region) is output from the blue detection circuit 25. When the parameters (HV, L, HW) indicated are detected, but the shadow of the photographed person is formed on the back screen 6 by the illumination device, the blue detection circuit 25 may erroneously determine the shadow as the head. There is.
[0056]
Therefore, as in the present embodiment, when the target subject is a human face, the skin color is identified from the color image signal, the position of the skin color portion on the screen is obtained, and the skin color portion is displayed on the screen. You may make it perform auto framing so that it may be located in an expected position.
Specifically, two bases used in explaining color vision, the HVS (brightness, saturation, hue) base and the YIQ base based on the opposite color process base are used.
[0057]
The HVS base and the YIQ base are derived from the RGB base by the following formula (AR Smith, “Color Gamut Transform Pairs” Computer Graphics, Vol. 12, pp. 12-19 1978 (see Proc. SIGGRAPH 78). .
"HVS basis"
・ When B ≦ G
[0058]
[Expression 1]
Figure 0003643988
[0059]
・ When B> G
[0060]
[Expression 2]
Figure 0003643988
[0061]
"YIQ base"
[0062]
[Equation 3]
Figure 0003643988
[0063]
Here, if the above H (hue) is calculated by a skin color detection circuit provided in place of the blue detection circuit 25, the skin color of the face has a clear peak with respect to the background blue or black hair. Therefore, it is possible to output a discrimination signal as to whether or not the skin color portion is based on the H level from the skin color detection circuit in the same manner as the blue detection circuit 25.
[0064]
Then, with the skin color portion as the main subject, the skin color portion is positioned at the intended position within the screen by detecting the vertical and horizontal positions (for example, the parameters HV, L, HW) of the main subject within the screen. Auto framing can be executed. If the subject position is detected by recognizing the background color, the center of the face may not be aligned with the center of the screen due to the shadow of the subject in the background, the hairstyle, etc. However, if the skin color part of the face is detected as described above, the face can be positioned at the desired position on the screen without being affected by the shadow and hairstyle (protrusion of the top of the head and left-right asymmetry). .
[0065]
Similarly, the I component of the YIQ base is a component having a clear peak with respect to the skin color region. Therefore, the I component is calculated from the RGB signal, and whether the skin color region is determined according to the level of the I component. What is necessary is just to make it output an identification signal.
On the other hand, in FIG. 5, the digital image signal converted by the AD converter 24 is used for auto-framing when the shooting direction of the camera 3 is adjusted in the vertical direction based on the distance HV from the upper end of the screen to the upper end of the subject. Stored in the image memory 30.
[0066]
At the time of reading from the image memory 30, the memory address is designated by the programmable counter 29 based on the amount of lateral displacement of the subject determined based on the information on the distance L and the width HW. The position is shifted to the left and right by the amount of the positional deviation, so that the screen in which the subject is located at the approximate center in the left-right direction of the screen is cut out and output. Therefore, the horizontal framing means in this embodiment is constituted by the image memory 30, the programmable counter 29, and the computer.
[0067]
Here, the configuration and read characteristics of the programmable counter 29 will be described below.
First, the shift amount of the reading position by the programmable counter 29 in the left-right direction is determined as follows.
When the distance L from the left end of the screen to the left end of the subject (head) and the width HW of the head are detected as parameters indicating the position in the left-right direction as described above, these data and the horizontal direction of the screen of the camera 3 are detected. Based on the size HD (735 pixels when the pixel clock signal is 14.318 MHz), the shift amount L ′ (number of pixels) from the center of the screen to the center of the subject is calculated as (HD−HW) / 2−L. This shift amount L ′ is calculated as a positive value when the subject is shifted to the left on the screen, and conversely, is calculated as a negative value when the subject is shifted to the right.
[0068]
Here, it is only necessary to shift the reading position so that the subject is positioned at the approximate center in the left-right direction of the screen using the shift amount L ′ as the shift amount.
The reading position is shifted by an instruction of a memory address by the programmable counter 29. The programmable counter 29 is configured as shown in FIG.
[0069]
In FIG. 10, the comparator 71 is provided with the shift amount L ′ from the CPU when the subject is photographed to the left (0 is provided when the shift is not to the left), and the pixel clock signal of the counter 72 is When the count number exceeds the deviation L ′, a high level signal is output.
When the output of the comparator 71 switches to a high level, this high level signal is inverted to a low level signal by the NOT circuit 73 and input to the AND circuit 74, and the logical product operation of the pixel clock signal and the output of the NOT circuit 73 is performed. The output of the AND circuit 74 that performs is fixed at a low level, and the counting of the pixel clock signal is stopped.
[0070]
The output of the comparator 71 is input to an AND circuit 75. The AND circuit 75 performs an AND operation on the pixel clock signal and the output of the comparator 71, and the output of the comparator 71 is at a high level. Only when the pixel clock signal is output from the AND circuit 75. The output of the AND circuit 75 is input to an 8-bit preset counter 76. Then, the pixel clock signal output from the AND circuit 75 is counted by the 8-bit preset counter 76 and the 2-bit preset counter 77, and the count value is read to the image memory 30 via the tristate buffer 78 as a read address. Output.
[0071]
Accordingly, as shown in FIG. 11A, if the subject is to the left in the screen and the comparator 71 is given a V dot (> 0) as the displacement L ′, the horizontal synchronization signal H.P. The address starts from 0 when the V dot is delayed from the sync. Since the address is reset when sync occurs, the last V dot on one scan line is not read, but reading from 0 to (HD-V) dots is delayed by V dots. Is instructed.
[0072]
By such a shift in the right direction at the time of reading, it is possible to obtain an image in which a subject photographed with a deviation of V dots on the left side is positioned at the approximate center in the left-right direction of the screen.
On the other hand, as shown in FIG. 11B, when the subject is shifted to the right in the screen, the shift amount L ′ is given to the preset counter 76. Here, if the rightward shift amount L ′ is W dots, the preset counter 76 starts counting the pixel clock signal using the W dots as an initial value, and reaches 0 to W stored in the image memory 30. When the count number exceeds HD (735), there is no storage data to be read out, and an invalid image signal is output.
[0073]
Therefore, in this case, an object photographed with a W dot shift in the right direction can be made an image that is positioned at the approximate center in the left-right direction of the screen by shifting to the left during reading.
Note that when the captured image signal is written to the image memory 30 as it is, the output of the read address via the tristate buffer 78 is stopped, and the normal write address set by a counter (not shown) is changed to the tristate. The data is output to the image memory 30 via the buffer 79.
[0074]
Here, the address data shifted in the horizontal direction set by the BRESET counters 76 and 77 is given when the image signal is written to the image memory 30, and the screen subjected to the shift in the horizontal direction is stored in the image memory 30. The structure to memorize | store may be sufficient.
The image read out from the image memory 30 (image data for each RGB), that is, an image that has been shifted in the left-right direction so that the subject is positioned at the approximate center in the left-right direction of the screen, has the configuration shown in FIG. Thus, the analog signal is returned to the analog signal by the DA converter 31 and further outputted to the outside (ID card printer) via the low-pass filter 32 and the buffer memory 33.
[0075]
Then, a screen having a size necessary for synthesizing the image data for the ID card is cut out from the image signal.
The image signal read from the image memory 30 and output from the auto-framing substrate 10 is a screen in which a subject is located at the approximate center of the screen and has a certain space above the subject. Therefore, as shown in Fig. 12, the left and right ends are respectively determined based on the difference between the output screen size (horizontal 735 dots) and the final screen size required for ID card creation (horizontal 385 dots). If you trim only the same pixel width and cut out only the center of the screen, you can get the screen of the required size with the original size in the vertical direction and the extra part removed by trimming in the horizontal direction. In the screen, a certain space is provided above the subject, and the subject is located at the approximate center in the left-right direction.
[0076]
Here, if the shift amount L ′ is large, when an image having a predetermined width is cut out as described above, an invalid image portion is included in the cut out screen. Therefore, when the horizontal shift in the subject screen is greater than or equal to a predetermined value based on the detection results of the detection circuits 27 and 28, the shift amount L ′ is reduced in the subject person by means of synthesized speech or display. It may be instructed to stop or warn the photographer.
[0077]
Further, depending on the screen size of the camera 3 and finally the necessary screen size, the image may be trimmed in the vertical direction and output as face image data for the ID card.
The image signal cut out as described above is electrically combined with character information such as the name, address, and personal identification number of the subject to create image data of the ID card. Then, an ID card is created by the video printer based on the image data. Here, the read image of the image memory 30 or an image cut out from the read image is displayed on the CRT so that it can be confirmed that the auto framing control for positioning the subject at the intended position in the screen has been performed reliably. You may make it display on display apparatuses, such as.
[0078]
In FIG. 5, reference numeral 34 denotes a video clock that outputs a synchronizing signal (vertical synchronizing signal or horizontal synchronizing signal) to the video camera 3, the detection circuits 26 to 28, and the counter 29. Next, the state of the auto framing control performed by the above configuration will be schematically described again in the order of processing according to the flowchart of FIG.
First, when the power is turned on (S1), the photographing direction controlled by the pulse motor 4 is set to the intermediate position (initial position) (S2).
[0079]
Next, it is determined whether a shutter switch (not shown) provided in the video camera 3 is on or off (S3). When the shutter switch is pushed by the photographer, first, the distance HV between the head of the subject and the upper end of the screen in the image taken by the video camera 3 is detected by the detection circuit 26 (vertical position detecting means). (S4).
[0080]
Here, the number of pulses of the drive pulse signal sent to the pulse motor 4 is calculated in order to change the shooting direction of the video camera 3 up and down in a direction that brings the detected distance HV closer to a preset target value (S5). ). Then, the information on the number of pulses is output to the pulse motor drive circuit 17, and the shooting direction of the video camera 3 is adjusted up and down by driving the pulse motor 4 (S6), and the actual distance HV is matched with the target value.
[0081]
When the distance HV matches the target, the distance L from the left end of the screen to the left end of the head is detected by the detection circuit 27 (S7), and the width HW of the head is detected by the detection circuit 28. (S8).
In such detection, the scanning line corresponding to the upper end of the head is used as a reference, and a predetermined number of scanning lines that are determined in advance from the reference scanning line (note that this predetermined scanning line number is used as detection position data supported by the computer). The distance (number of pixels) L from the left end of the screen to the head is detected with the scanning line positioned below as the detection position.
[0082]
As mentioned above, if you set the scanning line (height position on the screen) that detects the horizontal position with the top of the head as a reference, you want to detect the head of the subject, but the neck and shoulders Can be avoided.
When the framing adjustment is finished mechanically in the vertical direction, and the distance L and the width HW are detected, an image in which only the vertical framing at that time is finished and the subject deviation in the horizontal direction is left as it is, It is stored in the image memory 30 (S9).
[0083]
Next, when the image stored in the image memory 30 is read out, as the shift amount data for shifting and reading according to the positional deviation in the left-right direction, the head center and the shooting screen of the shot face image are read. A positional deviation amount L ′ (= (HD−HW) / 2−L) from the center is calculated based on the distance L and the width HW (S10), and the lateral positional deviation amount L ′ is calculated by the programmable counter 29. (S11).
[0084]
As a result, the image signal is read out from the image memory 30 by being shifted in the left-right direction, and an image in which the subject is located at the approximate center of the screen is created. An image having a necessary size is cut out and provided to create image data for an ID card (S12).
As described above, according to the present embodiment, even if there is a large physique difference in a person as a subject or when a left-right positional shift occurs when sitting on a chair 7, a face image is maintained in a fixed positional relationship within a fixed screen. It is possible to save labor and shorten the shooting time by eliminating the labor of framing by hand, for example, let the subject himself / herself perform a shutter operation to perform shooting, and further The sensor provided on the chair 7 can cause the shutter operation to be triggered by the subject person sitting on the chair 7, and the shooting can be unmanned.
[0085]
Here, when unattended shooting as described above is executed, it is preferable to give a voice instruction to the person to be photographed by the control shown in the flowchart of FIG.
In the flowchart of FIG. 15, with the camera set to the initial position (S21), a voice (synthetic voice or recorded voice) for instructing the subject to sit on the chair is generated (S22). Then, until it is detected that the person to be photographed is sitting on the chair (S23), the instruction of the sitting by the voice is repeated, and when it is detected that the person to be photographed is sitting on the chair, this time, the camera It is also instructed by voice to see the lens (S24).
[0086]
As a configuration for detecting that a subject is sitting on the chair, a pressure-sensitive sensor provided on the chair or an optical sensor may be used. In particular, when an optical sensor is used, an imaging device is used. For example, a configuration in which a light emitting element and a light receiving element are provided on the side to detect the presence or absence of reflected light on the back of the chair is preferable because the connection between the photographing apparatus and the person to be photographed is unnecessary.
[0087]
After instructing by voice to look at the lens, the user is instructed by voice to start actual shooting (S25), and the process proceeds to actual shooting control.
In addition to the voice instruction as described above or instead of the voice instruction, the contents of the instruction may be displayed in characters near the upper position of the lens of the video camera 3 as shown in FIG. The indication character may be displayed at a position other than the position near the upper side of the lens. In this case, the line of sight of the subject does not face the front, so that the position near the upper side of the lens is set as described above. It is preferable.
[0088]
In addition, it is preferable to give an instruction to allow the user to leave the room or to instruct the next action of the person to be photographed when the photographing is completed.
Note that the auto framing in the left-right direction can be performed by mechanical movement of the video camera 3 as in the up-down direction. However, in order to move the video camera up, down, left and right, it is necessary to provide a plurality of actuators. Since the equipment becomes complicated and the cost increases greatly, the auto framing in the left and right direction, which requires less adjustment cost, can be performed by processing on the image signal, and the cost for executing the auto framing is increased. It is suppressed.
[0089]
Further, in the above embodiment, the auto framing is performed by mechanically moving the video camera 3 in the up and down direction and shifting in the left and right direction when the image signal is written to or read from the memory in the left and right direction. I was allowed to do it.
However, as shown below, a framing process may also be performed in the vertical direction by cutting out an electrical image signal.
[0090]
When framing processing is performed by electrically cutting out image signals in the vertical direction as well as the horizontal direction of the screen, the pulse motor 4, the pulse motor driver 17, and the camera position sensors 16a to 16c in the above embodiment are not required. However, for this other configuration, the configuration shown in the first embodiment can be used as it is.
That is, in a computer to which the detection results of the distance HV from the upper end of the screen to the head of the subject, the distance L from the left end of the screen to the head, and the width HW of the head are input, based on these detection results, A screen (image frame) of vertical VD pixels × horizontal HD pixels, in which the distance to the image is a predetermined value VL and the subject is positioned at the approximate center in the left-right direction, is set in the shooting screen by the video camera 3 ( (See Figure 17).
[0091]
The programmable counter 29 is configured to output data indicating the reading start position and the reading end position in the vertical direction and the horizontal direction on the screen output from the video camera 3 based on the setting of the cutout screen. The set cut-out screen is stored in the framing image memory 30 by designating a memory address by the programmable counter 29 based on such data.
[0092]
In this way, in the second embodiment, as shown in FIG. 17, an object is captured using an image sensor having a larger number of pixels in both the vertical and horizontal directions than the finally required screen size (vertical VD pixels × horizontal HD pixels). By photographing, even if there is some variation in the position of the subject, it can be captured by any part of the image sensor with a large screen size.
Finally, since we want a constant image where the subject is located at a predetermined position in the screen, the position of the subject in the shooting screen by the image sensor is detected in the vertical and horizontal directions, respectively, and based on the detection result A screen of a predetermined size is cut out having a certain space above the subject and the subject is located at the approximate center in the left-right direction.
[0093]
In the second embodiment, the framing image cutout means includes a computer software function, a programmable counter 29, and a framing image memory 30.
Next, the state of the auto framing control in the second embodiment will be described in detail according to the flowchart of FIG.
[0094]
First, when the power is turned on (S31), it waits for the shutter switch of the camera 3 to be turned on (S32).
When the shutter switch is turned on, the detection circuit 26 (vertical position detection means) detects the distance HV between the head of the subject and the upper end of the screen in the image taken by the video camera 3 (S33).
[0095]
Here, the distance HV between the head and the upper end of the screen varies greatly, but in the second embodiment, a relatively wide shooting range in which the subject can be accommodated within the shooting range with a margin even if there is the variation. Is set. Specifically, the number of pixels of the video camera 3 is set to be sufficiently large both vertically and horizontally with respect to the final cut-out screen size VD × HD pixels (vertical × horizontal), and the subject is the cut-out screen size VD × Images are taken at a magnification suitable for HD pixels.
[0096]
When the distance HV from the upper end of the screen to the head of the subject is detected, as shown in FIG. 17, the distance VL from the upper end of the screen to the head of the subject on the preset clipping screen and the actual imaging screen are displayed. The deviation (HV−VL) from the above distance HV is calculated to obtain the data of the reading start position in the vertical direction (S34). At the same time, the data of the reading end position in the vertical direction is obtained as (HV−VL) + VD based on the cut-out screen setting size VD × HD (vertical × horizontal).
[0097]
Then, the data of the reading start position (upper edge image frame) and the reading end position (lower edge image frame) in the vertical direction are written into the register (S35).
Subsequently, an image frame is set in the left-right direction so that the subject is positioned at the approximate center of the screen.
First, the distance L from the left end of the screen to the left end of the subject head and the width HW of the head are detected by the detection circuit 27 (S36, S37).
[0098]
Here, in order to cut out an image in which the subject is located at the approximate center in the left-right direction on the cut-out screen of horizontal width HD from the left end of the video camera 3, L- (HD-HW) / 2 is on the right side. It is only necessary to perform reading from the shifted position and set the point of the number of pixels HD to the right from the read start position as the read end position (S38), and the read start position and read end position in the left-right direction. Is written to the register (S39).
[0099]
The vertical and horizontal read position data written in the register is output to the programmable counter 29, and the programmable counter 29 designates the memory address of the framing image memory 30 based on the position read position data. Then, a cut-out screen of size VD × HD in which the distance from the upper end of the screen to the head is a fixed distance VL and the subject is located at the approximate center in the left-right direction is stored in the image memory 30 (S40).
[0100]
Therefore, also in the second embodiment, it is possible to obtain an image obtained by photographing a face image in a certain positional relationship within a certain screen size, saving labor and shortening the photographing time by eliminating the labor of framing by human hands. It is possible. However, unlike the first embodiment, since the framing is not performed by mechanically moving the camera, it does not require a long time for framing as compared with the case where the framing is performed by moving the camera. The photographing apparatus can be configured simply.
[0101]
Further, in the video camera 3 of the present embodiment, the shooting range is set wide so that the subject can be surely shot even if the subject is misaligned. For example, sitting on a chair with synthetic voice and instructing the camera to turn straight, the movement of the subject is almost stopped, and the detection result of the vertical and horizontal misalignment is within an allowable range. The shutter can also be released at that time.
[0102]
In particular, when the photographing apparatus of the present embodiment is applied to perform unattended photographing without a photographer, the shutter may be released in a state where the subject is not normally sitting on the chair 7, and this is because Since detection can be performed when the detection data (HV, L, HW) is too small or too large, in this case, it is preferable to instruct re-shooting and correction of the shooting posture of the subject using a warning buzzer or synthesized voice. .
[0103]
By the way, for example, if the size of the face photo on the ID card is 30 × 24 mm (vertical × horizontal) and the recording density is 16 dots / mm, the size of the cut-out screen is 480 × 384 pixels (vertical × horizontal). Need Here, assuming that the size of the image sensor in a high-definition video camera is 2000 (horizontal) x 1125 (vertical) pixels, if the 480 x 384 pixel screen is cut out from such a screen size, it will be 2.3 times in the vertical direction. , A margin (movable range) of 5.2 times in the left-right direction can be secured (see Fig. 19).
[0104]
Furthermore, if the above-mentioned high-definition video camera is photographed while being laid down by 90 °, it will be photographed as shown in FIG. 20, and a normal image can be obtained by performing a process of electrically rotating the cut-out screen by 90 °. Can do. In this case, the margin in the vertical direction is 4.2 times, and the margin in the left and right direction is triple, so when the variation in sitting height is large, shooting with the larger aspect ratio in the vertical direction of the subject is performed. It is advantageous to allow variation.
[0105]
In addition, when the screen size of the image sensor is large as in the case of the above-described high-definition video camera (when the number of images of the image sensor is much larger than the finally required number of screen pixels), the position of the subject It is possible to easily absorb the variation and take a picture without missing the upper part from the chest of the subject. However, for example, in the case of a normal NTSC video camera and the number of pixels of the image sensor is about 525 (vertical) × 700 (horizontal) pixels, the above-mentioned screen of 480 × 384 pixels is cut out as shown in FIG. In particular, there is less room in the vertical direction, and depending on the physique variation of the subject, it may not be possible to cut out a screen having a predetermined space especially above the head.
[0106]
Thus, when the number of pixels of the image sensor of the video camera to be used is small, the magnification of the lens is halved, for example, as shown in FIG. 22, and the size of the cut-out screen is also halved (240 × 192 pixels) As a result, the screen after cropping may be enlarged twice to obtain a screen of 480 × 384 pixels. In this way, if the shooting magnification is halved and the size of the cut-out screen is halved, it is possible to secure a large margin for variation in the position of the subject. However, in terms of image quality, it is advantageous to cut out the final required pixel size as it is.
[0107]
For the enlargement of the screen after the cutout, a known technique such as simple enlargement or linear interpolation may be used, and the above function corresponds to the screen enlargement processing means in this embodiment.
Note that shooting of the subject is not limited to the front, and it is also possible to take a side image in the same manner. A video camera for shooting the side is installed together with a video camera 3 for shooting the front of the subject. And a side image can be taken simultaneously.
[0108]
Further, in this embodiment, the position for detecting the position deviation in the left-right direction is set to a position below the upper end of the head by a predetermined distance. However, the position deviation in the left-right direction is detected at a plurality of locations, and the average value thereof is used. In addition, a warning can be issued when there is a difference greater than or equal to a predetermined detection result at a plurality of locations.
In addition, a plurality of cameras including at least a camera that performs original photographing is installed, and the state of the subject is three-dimensionally recognized based on image information obtained by photographing the subject from a plurality of directions, and based on the recognition result. It is also possible to instruct the correction of the subject position with synthetic speech.
[0109]
Furthermore, in this embodiment, the color video signal output from the video camera 3 is the RGB primary color signal, but it may be a normal color video signal or a signal separated into a color signal and a luminance signal. Since a configuration may be employed in which an outline is extracted based on the luminance level and auto-framing is performed, a monochrome image may be used.
[0110]
In addition, an image memory for storing the image data before auto framing is provided separately, and a CRT for reproducing the output of the image memory is provided separately, and two images before and after auto framing are provided. Each may be displayed on the CRT so that it can be visually confirmed on the CRT that auto-framing has been performed without fail.
[0111]
In the present embodiment, face image shooting for creating an ID card has been described. However, only a face image may be printed as an ID photo using the image signal obtained in the above configuration, The obtained image signal of the face may be temporarily filed in an electronic filing device without external output by printing or the like.
[0112]
【The invention's effect】
As described above, according to the photographing apparatus according to the present invention, since it is not necessary to manually adjust the orientation of the camera to position the subject at the intended position in the screen, it is possible to automate photographing. In particular, when a face image of a person is photographed for use as an ID photo, there is an effect that it is possible to reduce the time and personnel required for photographing.
[0113]
  The imaging unitThe position in the vertical direction of the optical image incident onIn the case of changing, the tolerance for the positional deviation of the subject in the vertical direction is increased, and the apparatus configuration can be simplified when framing is performed by electrical extraction of the image signal in the vertical direction.
  Further, when the image signal is electrically cut out in the left-right direction and the up-down direction, if the image signal is cut out and enlarged later, an image sensor having a large size is not required.
[0114]
Further, if the subject position is detected by obtaining a color image signal from the imaging unit and recognizing the background color, the subject position can be easily detected when a certain background color is used as the photographing condition.
When the subject is a human face, the skin color part of the face is the main part of the subject, so by recognizing the skin color from the color image signal, the skin color part is not affected by the shadow or hairstyle. It can be detected as a subject position, and the flesh-colored portion can be positioned at an intended position in the screen.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of a photographing apparatus according to the present invention.
FIG. 2 is a block diagram showing a basic configuration of a photographing apparatus according to the present invention.
FIG. 3 is an external perspective view showing a system configuration of the embodiment.
FIG. 4 is a block diagram showing a configuration of an auto framing control unit.
FIG. 5 is a block diagram showing a configuration of an auto framing substrate.
FIG. 6 is a block diagram showing a circuit for detecting a distance from the upper end of the screen to the head.
FIG. 7 is a time chart showing the characteristics of a detection circuit for vertical positions.
FIG. 8 is a block diagram showing a circuit for detecting misalignment data in the left-right direction.
FIG. 9 is a time chart showing the characteristics of the left and right position detection circuit.
FIG. 10 is a block diagram showing a configuration of a programmable counter.
FIG. 11 is a diagram illustrating a state of a left-right direction shift at the time of reading an image signal.
FIG. 12 is a diagram showing image cutout for an ID card.
FIG. 13 is a diagram showing subject positional deviation parameters;
FIG. 14 is a flowchart showing a state of auto framing control.
FIG. 15 is a flowchart showing a voice instruction during unattended shooting.
FIG. 16 is a diagram showing instructions by characters during unattended shooting.
FIG. 17 is a diagram for explaining a screen cutout state according to the second embodiment;
FIG. 18 is a flowchart showing auto-framing shooting according to the second embodiment.
FIG. 19 is a diagram showing an example of screen cutout in a high-vision camera.
FIG. 20 is a diagram showing a screen cutout when a high-definition camera is laid down sideways.
FIG. 21 is a diagram showing an example in which the cut-out screen size is inappropriate for the shooting screen of the image sensor.
FIG. 22 is a diagram showing an embodiment in which the cut-out screen size is reduced by lowering the photographing magnification.
[Explanation of symbols]
1 unit
2 Manual elevator
3 Video camera
4 Pulse motor
5 Photography lens
6 Back screen
7 Chair
10 Auto-framing board
25 Blue detection circuit
26 to 28 detection circuit
29 Programmable counter
30 Image memory

Claims (12)

光学像を電気画像信号に変換する撮像ユニットと、
前記撮像ユニットで得られた画像信号を解析して、画面内における被写体上端の位置を検出する上下位置検出手段と、
前記撮像ユニットで得られた画像信号を解析して、前記被写体上端の位置を基準とする画面の所定高さ位置において、画面の左右いずれか一方の端から被写体端部までの距離と被写体の幅とをそれぞれに検出する左右位置検出手段と、
前記上下位置検出手段及び左右位置検出手段の検出結果に基づいて、被写体が画面内の所定位置に位置する画面を、前記撮像ユニットで得られた画像信号から電気的に切り出すフレーミング画像切出し手段と、
を含んで構成されたことを特徴とする撮影装置。
An imaging unit that converts an optical image into an electrical image signal;
Vertical position detection means for analyzing the image signal obtained by the imaging unit and detecting the position of the upper end of the subject in the screen ;
The image signal obtained by the imaging unit is analyzed, and the distance from the left or right edge of the screen to the edge of the subject and the width of the subject at a predetermined height position on the screen relative to the position of the top of the subject left and right position detection means for detecting preparative respectively,
Based on the detection results of the vertical position detection means and the horizontal position detection means, a framing image cutout means for electrically cutting out a screen in which a subject is located at a predetermined position in the screen from an image signal obtained by the imaging unit;
An imaging device characterized by comprising the above.
前記フレーミング画像切出し手段が、最終的に必要とされる画素数よりも少ない画素数の画面を切り出すよう構成される一方、前記フレーミング画像切出し手段で得られた画面を拡大処理して前記最終的に必要とされる画素数に一致させる画面拡大処理手段を設けたことを特徴とする請求項1記載の撮影装置。  The framing image cutout unit is configured to cut out a screen having a smaller number of pixels than the finally required number of pixels, while the screen obtained by the framing image cutout unit is enlarged to finally 2. The photographing apparatus according to claim 1, further comprising a screen enlargement processing unit that matches the required number of pixels. 光学像を電気画像信号に変換する撮像ユニットと、
該撮像ユニットに入射される前記光学像の上下方向における位置を変化させる調整手段と、
前記撮像ユニットで得られた画像信号を解析して、被写体の画面内での上下方向の位置を検出する上下位置検出手段と、
前記上下位置検出手段の検出結果に基づいて、前記調整手段を制御して被写体の所定部位を画面の上端又は下端から所定距離に位置させる上下方向フレーミング手段と、
前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号を解析して、被写体が画面内の所定位置に位置する画面を、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号から電気的に切り出すフレーミング画像切り出し手段と、
を含んで構成されたことを特徴とする撮影装置。
An imaging unit that converts an optical image into an electrical image signal;
Adjusting means for changing the position in the vertical direction of the optical image incident on the imaging unit;
Vertical position detection means for analyzing the image signal obtained by the imaging unit and detecting the vertical position of the subject within the screen;
Based on the detection result of the vertical position detection means, the vertical framing means for controlling the adjustment means to position the predetermined part of the subject at a predetermined distance from the upper end or the lower end of the screen;
The image signal obtained by the imaging unit after application of the upper and lower framing means is analyzed, and the image where the subject is located at a predetermined position in the screen is obtained by the imaging unit after application of the upper and lower framing means. Framing image cutout means for electrically cutting out from,
An imaging device characterized by comprising the above.
前記フレーミング画像切り出し手段が、
前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号を解析して、被写体の画面内での左右方向の位置を検出する左右位置検出手段と、
前記左右位置検出手段で検出された左右方向の位置に基づいて、被写体が画面内の所定位置に位置する画面を、前記上下フレーミング手段の適用後に前記撮像ユニットで得られた画像信号から電気的に切り出す左右方向フレーミング手段と、
から構成されることを特徴とする請求項3記載の撮影装置。
The framing image cutout means;
Left and right position detection means for analyzing the image signal obtained by the imaging unit after application of the vertical framing means and detecting the position of the subject in the horizontal direction on the screen;
Based on the position in the left-right direction detected by the left-right position detection means, a screen in which a subject is located at a predetermined position in the screen is electrically extracted from an image signal obtained by the imaging unit after application of the vertical framing means. Left-right framing means to cut out,
The imaging device according to claim 3, comprising:
前記調整手段が撮影ユニットを水平軸回りに上下に揺動させる構成であることを特徴とする請求項3乃至4記載の撮影装置。 5. The photographing apparatus according to claim 3, wherein the adjusting means is configured to swing the photographing unit up and down around a horizontal axis . 前記調整手段が撮影ユニットを上下に平行移動させる構成であることを特徴とする請求項3乃至4記載の撮影装置。 5. The photographing apparatus according to claim 3, wherein the adjusting means is configured to translate the photographing unit vertically . 前記上下位置検出手段は、前記画面内における前記被写体上端の位置を検出することを特徴とする請求項3乃至4のいずれかに記載の撮影装置。The photographing apparatus according to claim 3, wherein the vertical position detecting unit detects a position of the upper end of the subject in the screen . 前記左右位置検出手段が、前記撮像ユニットで撮影された画面の所定高さ位置において、画面の左右いずれか一方の端から被写体端部までの距離と被写体の幅とをそれぞれに検 出することを特徴とする請求項4記載の撮影装置。 The left and right position detection means, at a predetermined height position of the screen where the photographed by the imaging unit, to detect the respective distance and object width to the subject end from one of the left and right side of the screen The imaging device according to claim 4, characterized in that: 前記フレーミング画像切出し手段及び左右方向フレーミング手段が、前記撮像ユニットで得られた画像信号を記憶したメモリからの読み出し位置又は前記撮像ユニットで得られた画像信号のメモリに対する書き込み位置をシフトさせることで、被写体が画面内の所期位置に位置する画面を電気的に切り出すことを特徴とする請求項1乃至8のいずれかに記載の撮影装置。 The framing image cut-out means and the horizontal framing means shift the reading position from the memory storing the image signal obtained by the imaging unit or the writing position to the memory of the image signal obtained by the imaging unit, 9. The photographing apparatus according to claim 1, wherein a screen in which a subject is located at an intended position in the screen is electrically cut out . 前記撮像ユニットが光学像をカラー画像信号に変換するものであり、前記上下位置検出手段及び/又は左右位置検出手段が、前記撮像ユニットから出力されるカラー画像信号から背景色を認識することで、被写体の上下方向及び/又は左右方向の位置を検出することを特徴とする請求項1乃至9のいずれかに記載の撮影装置。  The imaging unit converts an optical image into a color image signal, and the vertical position detection unit and / or the horizontal position detection unit recognizes a background color from the color image signal output from the imaging unit, The photographing apparatus according to claim 1, wherein a position of a subject in a vertical direction and / or a horizontal direction is detected. 前記撮像ユニットが光学像をカラー画像信号に変換するものであり、かつ、被写体が人物の顔であり、前記上下位置検出手段及び/又は左右位置検出手段が、前記撮像ユニットから出力されるカラー画像信号から顔の肌色を認識することで、被写体の上下方向及び/又は左右方向の位置を検出することを特徴とする請求項1乃至9のいずれかに記載の撮影装置。  The imaging unit converts an optical image into a color image signal, the subject is a human face, and the vertical position detection means and / or the horizontal position detection means is a color image output from the imaging unit. The photographing apparatus according to claim 1, wherein the position of the subject in the vertical direction and / or the horizontal direction is detected by recognizing the skin color of the face from the signal. 前記撮像ユニットで得られた前記画像信号に基づいて、画像を表示する画像表示手段を含むことを特徴とする請求項1乃至11のいずれかに記載の撮影装置。The imaging apparatus according to claim 1, further comprising an image display unit that displays an image based on the image signal obtained by the imaging unit.
JP17715692A 1992-01-22 1992-07-03 Video camera for photographing of person's face Expired - Lifetime JP3643988B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17715692A JP3643988B2 (en) 1992-01-22 1992-07-03 Video camera for photographing of person's face

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP4-9393 1992-01-22
JP939392 1992-01-22
JP17715692A JP3643988B2 (en) 1992-01-22 1992-07-03 Video camera for photographing of person's face

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004115392A Division JP2004252999A (en) 1992-01-22 2004-04-09 Method and system for printing face image and matter having face image printed thereon

Publications (2)

Publication Number Publication Date
JPH05268513A JPH05268513A (en) 1993-10-15
JP3643988B2 true JP3643988B2 (en) 2005-04-27

Family

ID=34575795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17715692A Expired - Lifetime JP3643988B2 (en) 1992-01-22 1992-07-03 Video camera for photographing of person's face

Country Status (1)

Country Link
JP (1) JP3643988B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3763293B2 (en) * 2002-08-30 2006-04-05 ソニー株式会社 Image processing apparatus, image processing method, and imaging apparatus
EP1558015B1 (en) * 2002-08-30 2009-10-07 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP4832518B2 (en) 2005-11-02 2011-12-07 オリンパス株式会社 Image processing apparatus, image processing method thereof, and image processing program
JP4530175B2 (en) * 2006-10-24 2010-08-25 日本電気株式会社 Image processing apparatus, protrusion detection method and program for image processing apparatus
JP5048356B2 (en) * 2007-02-13 2012-10-17 コニカミノルタエムジー株式会社 Imaging apparatus and imaging method
JP5534166B2 (en) * 2009-12-11 2014-06-25 日本電気株式会社 Mobile terminal with camera and camera imaging direction adjustment method
KR102086913B1 (en) * 2018-07-16 2020-04-23 주식회사 에스원 Photographing apparatus and method for authentication

Also Published As

Publication number Publication date
JPH05268513A (en) 1993-10-15

Similar Documents

Publication Publication Date Title
US7952618B2 (en) Apparatus for controlling display of detection of target image, and method of controlling same
TWI411970B (en) Image capturing apparatus, face area detecting method and program recording medium
JP4079463B2 (en) Subject detection apparatus and subject detection method
US20010005222A1 (en) Identification photo system and image processing method
US20080131107A1 (en) Photographing apparatus
JPH07264606A (en) Cfa-compatible electronic camera having reduced resolution and single sensor
JP2003283964A (en) Video display apparatus
US7423671B2 (en) Image pickup apparatus and photographing method with image angle correction for combining image data
JP3643988B2 (en) Video camera for photographing of person's face
JP2000078445A (en) Digital camera
JP2003092726A (en) Imaging apparatus
JPH07288826A (en) Film picture reproduction device
CA2409224C (en) Image recording for a document generation system
JP2004252999A (en) Method and system for printing face image and matter having face image printed thereon
JP2001169169A (en) Automatic tracking device
JP2882391B2 (en) Digital camera
JP2002305676A (en) Electronic camera
JPS5936221B2 (en) Color correction amount calculation device
JP3146857B2 (en) Preparation device for scanner disassembly
JPS63303583A (en) Digital electronic still camera
JP2004201331A (en) Face image printing system, face image printing method and printed matter
JP3070395B2 (en) Preparation device for scanner disassembly
JPH0758936A (en) Photographing device
JPH11177877A (en) Image reader
JP2003330097A (en) Automatic imaging device

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040412

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050120

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 8