JPH0965197A - 自動ズーム制御装置、自動ズーム制御方法、及び撮像装置 - Google Patents
自動ズーム制御装置、自動ズーム制御方法、及び撮像装置Info
- Publication number
- JPH0965197A JPH0965197A JP7233330A JP23333095A JPH0965197A JP H0965197 A JPH0965197 A JP H0965197A JP 7233330 A JP7233330 A JP 7233330A JP 23333095 A JP23333095 A JP 23333095A JP H0965197 A JPH0965197 A JP H0965197A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- zoom
- area
- image
- zoom control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Focusing (AREA)
- Lens Barrels (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
(57)【要約】
【課題】 ビデオカメラ等において初期設定した被写体
を抽出することにより、自動ズーム制御を可能にする。 【解決手段】 追尾制御回路９は被写体追尾検出画像信
号Ｓ４を画像メモリ１０に書き込む。画像メモリ１０に
書き込まれた被写体追尾検出画像信号Ｓ４は、追尾信号
処理回路１１により読み出される。追尾信号処理回路１
１は、読み出した被写体追尾検出画像信号Ｓ４を用い
て、被写体の抽出、及び被写体面積の算出を行ない、初
期設定時の被写体の面積に対して一定の範囲内になるよ
うにズームモータ１２を制御する。
を抽出することにより、自動ズーム制御を可能にする。 【解決手段】 追尾制御回路９は被写体追尾検出画像信
号Ｓ４を画像メモリ１０に書き込む。画像メモリ１０に
書き込まれた被写体追尾検出画像信号Ｓ４は、追尾信号
処理回路１１により読み出される。追尾信号処理回路１
１は、読み出した被写体追尾検出画像信号Ｓ４を用い
て、被写体の抽出、及び被写体面積の算出を行ない、初
期設定時の被写体の面積に対して一定の範囲内になるよ
うにズームモータ１２を制御する。
Description
【０００１】
【発明の属する技術分野】本発明は、撮像装置における
自動ズーム制御装置及び自動ズーム制御方法に関し、よ
り詳細には、被写体を抽出し、その面積と初期設定時の
被写体面積とを比較することにより適切な自動ズームが
行なえ、また、自動被写体追尾システムやハンズフリー
撮影などに有効な自動ズーム制御装置及び自動ズーム制
御方法に関する。
自動ズーム制御装置及び自動ズーム制御方法に関し、よ
り詳細には、被写体を抽出し、その面積と初期設定時の
被写体面積とを比較することにより適切な自動ズームが
行なえ、また、自動被写体追尾システムやハンズフリー
撮影などに有効な自動ズーム制御装置及び自動ズーム制
御方法に関する。
【０００２】
【従来の技術】ある種のビデオカメラ及びスチルカメラ
においては、ＴＣＬセンサーやオートフォーカスにおけ
るズームレンズとフォーカスレンズの位置を用いて被写
体のカメラからの距離を測定し、被写体が人間の顔など
のように既知の大きさであると仮定してズームを自動制
御する方法が採用されている。
においては、ＴＣＬセンサーやオートフォーカスにおけ
るズームレンズとフォーカスレンズの位置を用いて被写
体のカメラからの距離を測定し、被写体が人間の顔など
のように既知の大きさであると仮定してズームを自動制
御する方法が採用されている。
【０００３】そして、その他の一般的なビデオカメラや
スチルカメラでは被写体を特定し、その抽出を行なうこ
とができないために、自動ズーム機能は搭載されていな
い。
スチルカメラでは被写体を特定し、その抽出を行なうこ
とができないために、自動ズーム機能は搭載されていな
い。
【０００４】
【発明が解決しようとする課題】現在、一般的にビデオ
カメラを使用する際には、手持ち、もしくは三脚に固定
したビデオカメラを被写体に向けながら、ズームの制御
は撮影者がスイッチやレバー等を操作して行なってい
る。このため、撮影者がビデオカメラの操作に慣れてい
ない場合には、ズームの制御をテレ側とワイド側とを間
違えて操作したり、適切な画角を設定できなかったりす
ることがあるため、録画した画像が非常に見にくくなっ
てしまうことがあった。
カメラを使用する際には、手持ち、もしくは三脚に固定
したビデオカメラを被写体に向けながら、ズームの制御
は撮影者がスイッチやレバー等を操作して行なってい
る。このため、撮影者がビデオカメラの操作に慣れてい
ない場合には、ズームの制御をテレ側とワイド側とを間
違えて操作したり、適切な画角を設定できなかったりす
ることがあるため、録画した画像が非常に見にくくなっ
てしまうことがあった。
【０００５】また、近年、ビデオカメラ業界においても
ボタン、スイッチ類はできるだけ少なくし、機能を全て
オート化しようという傾向があり、ズームの制御を自動
化する要求もある。
ボタン、スイッチ類はできるだけ少なくし、機能を全て
オート化しようという傾向があり、ズームの制御を自動
化する要求もある。
【０００６】本発明はこのような状況に鑑みてなされた
ものてあって、初期設定した被写体の抽出を行なうこと
により、ズームの自動制御を可能にした自動ズーム制御
装置、自動ズーム制御方法、及び撮像装置を提供するこ
とを目的とする。
ものてあって、初期設定した被写体の抽出を行なうこと
により、ズームの自動制御を可能にした自動ズーム制御
装置、自動ズーム制御方法、及び撮像装置を提供するこ
とを目的とする。
【０００７】
【課題を解決するための手段】上記問題点を解決するた
めに、本発明に係る自動ズーム制御装置は、撮像素子か
らの画像信号を周期的に記憶する画像記憶手段と、上記
画像記憶手段に記憶された画像情報から輝度・色差空間
における被写体モデルを作成する被写体モデル作成手段
と、上記被写体モデルを用いて、上記画像記憶手段に記
憶された画像情報から被写体を抽出する被写体抽出手段
と、上記被写体抽出手段により抽出された画素より被写
体面積を算出する被写体面積算出手段と、上記被写体面
積を初期設定時の被写体の面積に対して所定の範囲にな
るようにズームを制御するズーム制御手段とを備えるこ
とを特徴とするものである。
めに、本発明に係る自動ズーム制御装置は、撮像素子か
らの画像信号を周期的に記憶する画像記憶手段と、上記
画像記憶手段に記憶された画像情報から輝度・色差空間
における被写体モデルを作成する被写体モデル作成手段
と、上記被写体モデルを用いて、上記画像記憶手段に記
憶された画像情報から被写体を抽出する被写体抽出手段
と、上記被写体抽出手段により抽出された画素より被写
体面積を算出する被写体面積算出手段と、上記被写体面
積を初期設定時の被写体の面積に対して所定の範囲にな
るようにズームを制御するズーム制御手段とを備えるこ
とを特徴とするものである。
【０００８】また、本発明に係る自動ズーム制御方法
は、撮像素子からの画像信号を周期的に画像記憶手段に
記憶し、上記画像記憶手段に記憶された画像情報を用い
て自動ズーム制御を行なう方法であって、上記画像記憶
手段に記憶された画像情報から画像情報を取得して輝度
・色差空間における被写体モデルを作成し、上記被写体
モデルを用いて、上記画像記憶手段に記憶された画像情
報から被写体を抽出して上記被写体の被写体面積を算出
し、上記被写体面積を初期設定時の被写体の面積に対し
て所定の範囲になるようにズームを制御することを特徴
とするものである。
は、撮像素子からの画像信号を周期的に画像記憶手段に
記憶し、上記画像記憶手段に記憶された画像情報を用い
て自動ズーム制御を行なう方法であって、上記画像記憶
手段に記憶された画像情報から画像情報を取得して輝度
・色差空間における被写体モデルを作成し、上記被写体
モデルを用いて、上記画像記憶手段に記憶された画像情
報から被写体を抽出して上記被写体の被写体面積を算出
し、上記被写体面積を初期設定時の被写体の面積に対し
て所定の範囲になるようにズームを制御することを特徴
とするものである。
【０００９】そして、本発明に係る撮像装置は、上記本
発明に係る自動ズーム制御装置と、この自動ズーム制御
装置に画像信号を出力する撮像素子とを備えることを特
徴とするものである。
発明に係る自動ズーム制御装置と、この自動ズーム制御
装置に画像信号を出力する撮像素子とを備えることを特
徴とするものである。
【００１０】本発明によれば、初期設定した被写体を抽
出することができるため、初期設定された被写体の面積
に対する現在の被写体面積比がある一定の範囲になるよ
うにズームを制御することができる。
出することができるため、初期設定された被写体の面積
に対する現在の被写体面積比がある一定の範囲になるよ
うにズームを制御することができる。
【００１１】画面より被写体を抽出するために、被写体
追尾システムとしてその有効性が確認されている輝度・
色差空間における被写体モデルを用いている。これは設
定枠内の被写体情報から被写体を表現するモデルを輝
度、色差の３次元空間に展開し、画面内の各画素につい
てそのモデルに当てはまる画素を被写体を構成する画素
として抽出するものである。
追尾システムとしてその有効性が確認されている輝度・
色差空間における被写体モデルを用いている。これは設
定枠内の被写体情報から被写体を表現するモデルを輝
度、色差の３次元空間に展開し、画面内の各画素につい
てそのモデルに当てはまる画素を被写体を構成する画素
として抽出するものである。
【００１２】また、被写体として抽出された画素集合に
対し、ノイズ状に抽出されている画素を削ることにより
形を整え、その縦方向の長さと横方向の長さの積を画面
における被写体の面積とする。この面積が初期設定時に
対しある一定の範囲の比になるようにズームを制御す
る。
対し、ノイズ状に抽出されている画素を削ることにより
形を整え、その縦方向の長さと横方向の長さの積を画面
における被写体の面積とする。この面積が初期設定時に
対しある一定の範囲の比になるようにズームを制御す
る。
【００１３】
【発明の実施の形態】以下本発明の実施の形態について
図面を参照しながら、 〔１〕本発明を適用した撮像装置 〔２〕追尾信号処理回路における処理 〔３〕追尾信号処理の具体的構成例 の順序で詳細に説明する。
図面を参照しながら、 〔１〕本発明を適用した撮像装置 〔２〕追尾信号処理回路における処理 〔３〕追尾信号処理の具体的構成例 の順序で詳細に説明する。
【００１４】〔１〕本発明を適用した撮像装置 図１は本発明を適用した撮像装置の構成を示すブロック
図である。なお、以下の説明において、コンポーネント
ビデオの輝度をＹ、Ｒ−ＹをＲ、Ｂ−ＹをＢとし、後述
するメモリ内の画像で水平方向にｉ番目、垂直方向にｊ
番目の画素の値をＹについてはＹｉｊ、ＲについてはＲ
ｉｊ、ＢについてはＢｉｊとする。
図である。なお、以下の説明において、コンポーネント
ビデオの輝度をＹ、Ｒ−ＹをＲ、Ｂ−ＹをＢとし、後述
するメモリ内の画像で水平方向にｉ番目、垂直方向にｊ
番目の画素の値をＹについてはＹｉｊ、ＲについてはＲ
ｉｊ、ＢについてはＢｉｊとする。
【００１５】図１に示すように、本発明を適用した撮像
装置は、レンズ１、ズームレンズ２、アイリス３、及び
例えばＣＣＤで構成された撮像素子４を備えたレンズブ
ロック部ＬＢと、レンズブロック部ＬＢで作成された撮
像信号Ｓ１に対してサンプル・ホールド及び自動利得調
整を施す信号分離／自動利得調整回路５と、信号分離／
自動利得調整回路５の出力信号Ｓ２をディジタル化する
アナログ／ディジタル変換回路６と、アナログ／ディジ
タル変換回路６の出力に対して所定のカメラ信号処理を
施すディジタルカメラ処理回路７と、ディジタルカメラ
処理回路７で形成されたＹ信号及びＣ信号をアナログ化
するディジタル／アナログ変換回路８とを備えている。
装置は、レンズ１、ズームレンズ２、アイリス３、及び
例えばＣＣＤで構成された撮像素子４を備えたレンズブ
ロック部ＬＢと、レンズブロック部ＬＢで作成された撮
像信号Ｓ１に対してサンプル・ホールド及び自動利得調
整を施す信号分離／自動利得調整回路５と、信号分離／
自動利得調整回路５の出力信号Ｓ２をディジタル化する
アナログ／ディジタル変換回路６と、アナログ／ディジ
タル変換回路６の出力に対して所定のカメラ信号処理を
施すディジタルカメラ処理回路７と、ディジタルカメラ
処理回路７で形成されたＹ信号及びＣ信号をアナログ化
するディジタル／アナログ変換回路８とを備えている。
【００１６】また、本発明を適用した撮像装置は、ディ
ジタルカメラ処理回路７で形成されたＹ、Ｒ、Ｂ信号を
基にズームモータ１２を制御するためのズーム制御信号
Ｓ９を作成する追尾制御回路９と、ズーム制御信号Ｓ９
により回転制御され、ズームレンズ２の位置を調整する
ズームモータ１２とを備えている。ここで、追尾制御回
路９は、例えばフレームメモリで構成された画像メモリ
１０とマイクロプロセッサで構成された追尾信号処理回
路１１とから構成されている。
ジタルカメラ処理回路７で形成されたＹ、Ｒ、Ｂ信号を
基にズームモータ１２を制御するためのズーム制御信号
Ｓ９を作成する追尾制御回路９と、ズーム制御信号Ｓ９
により回転制御され、ズームレンズ２の位置を調整する
ズームモータ１２とを備えている。ここで、追尾制御回
路９は、例えばフレームメモリで構成された画像メモリ
１０とマイクロプロセッサで構成された追尾信号処理回
路１１とから構成されている。
【００１７】次に、図１に示した撮像装置の動作を説明
する。この撮像装置において、被写体から到来する撮像
光をレンズブロック部ＬＢのレンズ１、ズームレンズ
２、アイリス３を通して撮像素子４で受け、被写体像を
表す撮像出力信号Ｓ１を信号分離／自動利得調整回路５
に与える。
する。この撮像装置において、被写体から到来する撮像
光をレンズブロック部ＬＢのレンズ１、ズームレンズ
２、アイリス３を通して撮像素子４で受け、被写体像を
表す撮像出力信号Ｓ１を信号分離／自動利得調整回路５
に与える。
【００１８】信号分離／自動利得調整回路５は撮像出力
信号Ｓ１をサンプルホールドすると共に、オートアイリ
ス（ＡＥ）システム（図示せず）からの制御信号によっ
て撮像出力信号Ｓ２が所定のゲインを持つように利得制
御する。そして、この撮像出力信号Ｓ２をアナログ／デ
ィジタル変換回路６を介してディジタルカメラ処理回路
７に供給する。
信号Ｓ１をサンプルホールドすると共に、オートアイリ
ス（ＡＥ）システム（図示せず）からの制御信号によっ
て撮像出力信号Ｓ２が所定のゲインを持つように利得制
御する。そして、この撮像出力信号Ｓ２をアナログ／デ
ィジタル変換回路６を介してディジタルカメラ処理回路
７に供給する。
【００１９】ディジタルカメラ処理回路７は撮像出力信
号Ｓ２にもとづいてＹ、Ｃ並びにＲおよびＢを形成し、
ＹおよびＣをディジタル／アナログ変換回路８を介して
ビデオ信号Ｓ３として送出する。
号Ｓ２にもとづいてＹ、Ｃ並びにＲおよびＢを形成し、
ＹおよびＣをディジタル／アナログ変換回路８を介して
ビデオ信号Ｓ３として送出する。
【００２０】さらに、ディジタルカメラ処理回路７は被
写体追尾検出画像信号Ｓ４としてＹ、ＲおよびＢを追尾
制御回路９に供給し、追尾制御回路９はこの被写体追尾
検出信号画像Ｓ４を用いて作成したズーム制御信号Ｓ９
によりズームモータ１２を制御し、レンズブロック部Ｌ
Ｂに設けられたズームレンズ２に対する制御信号Ｓ１０
を発生する。
写体追尾検出画像信号Ｓ４としてＹ、ＲおよびＢを追尾
制御回路９に供給し、追尾制御回路９はこの被写体追尾
検出信号画像Ｓ４を用いて作成したズーム制御信号Ｓ９
によりズームモータ１２を制御し、レンズブロック部Ｌ
Ｂに設けられたズームレンズ２に対する制御信号Ｓ１０
を発生する。
【００２１】追尾制御回路９はＲ、Ｂ及びＹを被写体追
尾検出画像信号Ｓ４として、画像メモリ１０に書き込
む。この書き込みは追尾信号処理回路１１から送出され
る書き込み許可信号Ｓ５を受けた後、Ｙ、Ｒ、Ｂ独立し
て各画素単位で行なう。
尾検出画像信号Ｓ４として、画像メモリ１０に書き込
む。この書き込みは追尾信号処理回路１１から送出され
る書き込み許可信号Ｓ５を受けた後、Ｙ、Ｒ、Ｂ独立し
て各画素単位で行なう。
【００２２】画像メモリ１０にＹ、Ｒ、Ｂ各々の例えば
１フレーム分の被写体追尾検出画像信号Ｓ４の格納が終
了すると、画像メモリ１０は追尾信号処理回路１１に対
して読み出し許可信号Ｓ６を送出する。追尾信号処理回
路１１は読み出し許可信号Ｓ６を確認した後、所定のメ
モリアドレスＳ７を画像メモリ１０に与えることによ
り、画像メモリ１０内の所定の位置のＹ、Ｒ、Ｂの各デ
ータＳ８を読み出し、内部に取り込む。追尾信号処理回
路１１内は、取り込んだデータＳ８を用いて被写体位置
の算出処理を行ない（詳細は後述）、それが終了した
後、再び書き込み許可信号Ｓ５を画像メモリ１０に与え
る。画像メモリ１０はこの書き込み許可信号Ｓ５を確認
した後、次の１フレーム分の被写体追尾検出画像信号Ｓ
４の書き込みを行なう。
１フレーム分の被写体追尾検出画像信号Ｓ４の格納が終
了すると、画像メモリ１０は追尾信号処理回路１１に対
して読み出し許可信号Ｓ６を送出する。追尾信号処理回
路１１は読み出し許可信号Ｓ６を確認した後、所定のメ
モリアドレスＳ７を画像メモリ１０に与えることによ
り、画像メモリ１０内の所定の位置のＹ、Ｒ、Ｂの各デ
ータＳ８を読み出し、内部に取り込む。追尾信号処理回
路１１内は、取り込んだデータＳ８を用いて被写体位置
の算出処理を行ない（詳細は後述）、それが終了した
後、再び書き込み許可信号Ｓ５を画像メモリ１０に与え
る。画像メモリ１０はこの書き込み許可信号Ｓ５を確認
した後、次の１フレーム分の被写体追尾検出画像信号Ｓ
４の書き込みを行なう。
【００２３】追尾信号処理回路１１は、被写体の抽出、
及び被写体面積の算出等を行ない、これらの情報から適
正なズーム制御値を算出し、ズーム制御信号Ｓ９をズー
ムモータ１２へ供給する。
及び被写体面積の算出等を行ない、これらの情報から適
正なズーム制御値を算出し、ズーム制御信号Ｓ９をズー
ムモータ１２へ供給する。
【００２４】ズームモータ１２はズーム制御信号Ｓ９に
より回転方向、回転量、及び回転速度が制御され、ズー
ムレンズ２の位置を調整する。
より回転方向、回転量、及び回転速度が制御され、ズー
ムレンズ２の位置を調整する。
【００２５】〔２〕追尾信号処理回路における処理 次に図２を参照しながら、追尾信号処理回路１１の内部
で行なわれる処理の概要について説明する。
で行なわれる処理の概要について説明する。
【００２６】まず、被写体を画面の中に入れるためにズ
ームをワイド端に動かす処理Ｐ０を実行する。この後、
必要に応じて撮影者のマニュールズーム操作を受ける。
次に、被写体情報取得処理Ｐ１を実行する。この処理は
最初に被写体は画面の中央部にあるという条件から、画
面中央の領域Ｄ０（例えば５×５ピクセルのブロック）
の被写体情報を取得するものである。
ームをワイド端に動かす処理Ｐ０を実行する。この後、
必要に応じて撮影者のマニュールズーム操作を受ける。
次に、被写体情報取得処理Ｐ１を実行する。この処理は
最初に被写体は画面の中央部にあるという条件から、画
面中央の領域Ｄ０（例えば５×５ピクセルのブロック）
の被写体情報を取得するものである。
【００２７】次に、モデル決定処理Ｐ２を実行する。こ
の処理は処理Ｐ１で得られた被写体情報を基にＹとＲ、
ＹとＢに関する２次近似曲線に許容誤差を含めた被写体
モデルを決定するものである。
の処理は処理Ｐ１で得られた被写体情報を基にＹとＲ、
ＹとＢに関する２次近似曲線に許容誤差を含めた被写体
モデルを決定するものである。
【００２８】次いで、各画素判定処理Ｐ３を実行する。
この処理は処理Ｐ２で求められた被写体モデルを用い
て、画面内の各画素に対して被写体の候補点かどうかを
決定するものである。
この処理は処理Ｐ２で求められた被写体モデルを用い
て、画面内の各画素に対して被写体の候補点かどうかを
決定するものである。
【００２９】次に、被写体が画面内に存在するかしない
かを判定する処理Ｐ４を実行する。この処理は処理Ｐ３
で被写体の候補点であると判定された画素数がある閾値
αを越えているかどうかを判定することにより、被写体
が枠内に存在するかしないかを判定するものであり、閾
値α以下であった場合は被写体は画面内に存在しないと
判定し、ズームの制御は行なわない。
かを判定する処理Ｐ４を実行する。この処理は処理Ｐ３
で被写体の候補点であると判定された画素数がある閾値
αを越えているかどうかを判定することにより、被写体
が枠内に存在するかしないかを判定するものであり、閾
値α以下であった場合は被写体は画面内に存在しないと
判定し、ズームの制御は行なわない。
【００３０】処理Ｐ４で被写体が画面内の存在すると判
定したときは、次に、抽出画素スムージング処理Ｐ５を
実行する。この処理は処理Ｐ４で被写体の一部と決定さ
れた画素からノイズ状に抽出された画素を除去するもの
（スムージング処理）である。
定したときは、次に、抽出画素スムージング処理Ｐ５を
実行する。この処理は処理Ｐ４で被写体の一部と決定さ
れた画素からノイズ状に抽出された画素を除去するもの
（スムージング処理）である。
【００３１】次に、画素密度を判定する処理Ｐ６を実行
する。この処理は処理Ｐ５で決定された被写体画素集合
の平面上の密度を調べ、密度がある閾値β以下の場合に
は被写体抽出処理が適正に行なわれていないと判断し、
ズームを静止させる。
する。この処理は処理Ｐ５で決定された被写体画素集合
の平面上の密度を調べ、密度がある閾値β以下の場合に
は被写体抽出処理が適正に行なわれていないと判断し、
ズームを静止させる。
【００３２】処理Ｐ６で画素の密度がβを越えていた場
合には、次に被写体面積算出処理Ｐ７を実行する。この
処理は処理Ｐ５でスムージングされた被写体画素集合か
ら被写体の面積を算出する処理であって、１回目には処
理Ｐ２で決定された被写体モデルの被写体面積、すなわ
ち初期設定時の被写体面積を算出し、２回目以降は被写
体モデルを用いて抽出された被写体の面積を算出する。
合には、次に被写体面積算出処理Ｐ７を実行する。この
処理は処理Ｐ５でスムージングされた被写体画素集合か
ら被写体の面積を算出する処理であって、１回目には処
理Ｐ２で決定された被写体モデルの被写体面積、すなわ
ち初期設定時の被写体面積を算出し、２回目以降は被写
体モデルを用いて抽出された被写体の面積を算出する。
【００３３】次に、被写体が横長もしくは縦長であるか
どうかを判定する処理Ｐ８を実行する。この処理は処理
Ｐ５で決定された被写体の横方向の長さもしくは縦方向
の長さがある閾値γより大きい場合には、処理Ｐ７で決
定された被写体の面積によらず、ズームをワイド方向へ
動かした後、処理Ｐ３に戻る。
どうかを判定する処理Ｐ８を実行する。この処理は処理
Ｐ５で決定された被写体の横方向の長さもしくは縦方向
の長さがある閾値γより大きい場合には、処理Ｐ７で決
定された被写体の面積によらず、ズームをワイド方向へ
動かした後、処理Ｐ３に戻る。
【００３４】処理Ｐ８で横長でも縦長でもないと判断さ
れた場合には、次にズーム制御量算出処理を実行する。
この処理は処理Ｐ７で算出された被写体面積と初期設定
時の被写体面積との比に応じてズームの方向と量を制御
する処理である。
れた場合には、次にズーム制御量算出処理を実行する。
この処理は処理Ｐ７で算出された被写体面積と初期設定
時の被写体面積との比に応じてズームの方向と量を制御
する処理である。
【００３５】次に、被写体位置検討処理Ｐ１０を実行す
る。この処理は被写体が画面の端部に存在し、かつ処理
Ｐ９でズーム制御方向がテレ側と決定されていた場合
に、ズームを静止させるものである。
る。この処理は被写体が画面の端部に存在し、かつ処理
Ｐ９でズーム制御方向がテレ側と決定されていた場合
に、ズームを静止させるものである。
【００３６】次いで、ズーム制御量決定処理Ｐ１１を実
行する。この処理はズーム制御方向の時間軸に関するフ
ィルタリングを行なうものである。
行する。この処理はズーム制御方向の時間軸に関するフ
ィルタリングを行なうものである。
【００３７】〔３〕追尾信号処理の具体的構成例 以下に図２の各処理の中で特徴的なものに関する具体的
構成の一例を説明する。
構成の一例を説明する。
【００３８】処理Ｐ１においては、領域Ｄ０内の（Ｙｉ
ｊ，Ｒｉｊ，Ｂｉｊ）の組はノイズをもっているという
ことと、被写体の代表点に過ぎないということから被写
体情報にある程度の幅を持たせるために（Ｙｉｊ，ＨＲ
ｉｊ，ＨＢｉｊ）、（Ｙｉｊ、ＬＲｉｊ，ＬＢｉｊ）を
被写体情報とする。
ｊ，Ｒｉｊ，Ｂｉｊ）の組はノイズをもっているという
ことと、被写体の代表点に過ぎないということから被写
体情報にある程度の幅を持たせるために（Ｙｉｊ，ＨＲ
ｉｊ，ＨＢｉｊ）、（Ｙｉｊ、ＬＲｉｊ，ＬＢｉｊ）を
被写体情報とする。
【００３９】ここで、 ＨＲｉｊ＝Ｒｉｊ×１．１ ＨＢｉｊ＝Ｂｉｊ×１．１ ＬＲｉｊ＝Ｒｉｊ×０．９ ＬＢｉｊ＝Ｂｉｊ×０．９ である。すなわち、許容誤差１０％としている。
【００４０】処理Ｐ２では、処理Ｐ１で得られた（Ｙｉ
ｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢ
ｉｊ）の組よりＹに関するＲとＢの２次近似関数による
被写体モデルを決定する。このとき、任意の被写体に対
して２次近似した被写体モデルがある程度一定の形を持
つように、Ｙ軸上の切片Ｒｌｏｗ，Ｒｈｉｇｈ，Ｂｌｏ
ｗ，Ｂｈｉｇｈを定数として持っておき、最小自乗法に
より以下のＡ０〜Ａ４を決定し、以下の式［１］〜
［４］に示されている、Ｙに関するＲとＢの被写体モデ
ルＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ），ＬＦｂ
（Ｙ）を決定する。
ｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢ
ｉｊ）の組よりＹに関するＲとＢの２次近似関数による
被写体モデルを決定する。このとき、任意の被写体に対
して２次近似した被写体モデルがある程度一定の形を持
つように、Ｙ軸上の切片Ｒｌｏｗ，Ｒｈｉｇｈ，Ｂｌｏ
ｗ，Ｂｈｉｇｈを定数として持っておき、最小自乗法に
より以下のＡ０〜Ａ４を決定し、以下の式［１］〜
［４］に示されている、Ｙに関するＲとＢの被写体モデ
ルＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ），ＬＦｂ
（Ｙ）を決定する。
【００４１】 ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［１］ ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［２］ ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［３］ ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［４］ このようにして決定された被写体モデルを図３に示す。
【００４２】処理Ｐ３は、各画素に関して処理Ｐ２で求
められた被写体モデルにあてはまるかどうか、つまり
Ｒ、Ｂ共に図３（ａ），（ｂ）の２本の曲線の間に入る
かどうかを判断する。つまり、
められた被写体モデルにあてはまるかどうか、つまり
Ｒ、Ｂ共に図３（ａ），（ｂ）の２本の曲線の間に入る
かどうかを判断する。つまり、
【００４３】 ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ） かつ ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ） ならばその画素は被写体の一部と判断する。そして、被
写体の一部と判断された複数の画素の水平方向と垂直方
向の重心を求めることにより、被写体の座標（Ｘ，Ｙ）
として決定する。
写体の一部と判断された複数の画素の水平方向と垂直方
向の重心を求めることにより、被写体の座標（Ｘ，Ｙ）
として決定する。
【００４４】処理Ｐ５では、処理Ｐ３で抽出された、被
写体の一部と判断された画素集団に対し、エッジのスム
ージングをかける。図４（ａ）は処理Ｐ３で抽出された
画素集団を表している。この抽出された各画素、つまり
図４（ａ）における黒い画素に対しては評価値として１
を与え、抽出されなかった画素、つまり図４（ａ）おけ
る白い画素に対しては評価値０を与える。
写体の一部と判断された画素集団に対し、エッジのスム
ージングをかける。図４（ａ）は処理Ｐ３で抽出された
画素集団を表している。この抽出された各画素、つまり
図４（ａ）における黒い画素に対しては評価値として１
を与え、抽出されなかった画素、つまり図４（ａ）おけ
る白い画素に対しては評価値０を与える。
【００４５】そして、座標（ｉ，ｊ）の画素の評価値を
Ｅ（ｉ，ｊ）としたとき、 Ｅ（ｉ，ｊ）＝１、かつＥ（ｉ−１，ｊ）＝０、かつＥ
（ｉ＋１，ｊ）＝０ または Ｅ（ｉ，ｊ）＝１、かつＥ（ｉ，ｊ−１）＝０、かつＥ
（ｉ，ｊ＋１）＝０ のいずれかを満たしている画素の評価値Ｅ（ｉ，ｊ）は
０とし、 Ｅ（ｉ，ｊ）＝０、かつＥ（ｉ−１，ｊ）＝１、かつＥ
（ｉ＋１，ｊ）＝１ または Ｅ（ｉ，ｊ）＝０、かつＥ（ｉ，ｊ−１）＝１、かつＥ
（ｉ，ｊ＋１）＝１ のいずれかを満たしている画素の評価値Ｅ（ｉ，ｊ）は
１として、画素集団にスムージングをかける。こうして
得られた新しい被写体画素集団を図４（ｂ）に示す。
Ｅ（ｉ，ｊ）としたとき、 Ｅ（ｉ，ｊ）＝１、かつＥ（ｉ−１，ｊ）＝０、かつＥ
（ｉ＋１，ｊ）＝０ または Ｅ（ｉ，ｊ）＝１、かつＥ（ｉ，ｊ−１）＝０、かつＥ
（ｉ，ｊ＋１）＝０ のいずれかを満たしている画素の評価値Ｅ（ｉ，ｊ）は
０とし、 Ｅ（ｉ，ｊ）＝０、かつＥ（ｉ−１，ｊ）＝１、かつＥ
（ｉ＋１，ｊ）＝１ または Ｅ（ｉ，ｊ）＝０、かつＥ（ｉ，ｊ−１）＝１、かつＥ
（ｉ，ｊ＋１）＝１ のいずれかを満たしている画素の評価値Ｅ（ｉ，ｊ）は
１として、画素集団にスムージングをかける。こうして
得られた新しい被写体画素集団を図４（ｂ）に示す。
【００４６】処理Ｐ６では、処理Ｐ５で得られた被写体
画素集団に対し、その画素の密度値がある閾値βより大
きい場合は処理Ｐ３での被写体抽出が正しくできていな
いと判断し、ズームを静止させ処理Ｐ３に戻る。
画素集団に対し、その画素の密度値がある閾値βより大
きい場合は処理Ｐ３での被写体抽出が正しくできていな
いと判断し、ズームを静止させ処理Ｐ３に戻る。
【００４７】処理Ｐ７は、処理Ｐ５でスムージングされ
た被写体候補画素集団の縦方向の長さＬと横方向の長さ
Ｗの積として被写体の面積Ａを算出する処理である。処
理Ｐ８では、処理Ｐ７で算出された面積に関わらず、Ｌ
＞γまたはＷ＞γを満たす、つまり、縦方向の長さＬも
しくは横方向の長さＷがある閾値γより大きかった場
合、ズームをワイド側に動かし、処理Ｐ３に戻る。
た被写体候補画素集団の縦方向の長さＬと横方向の長さ
Ｗの積として被写体の面積Ａを算出する処理である。処
理Ｐ８では、処理Ｐ７で算出された面積に関わらず、Ｌ
＞γまたはＷ＞γを満たす、つまり、縦方向の長さＬも
しくは横方向の長さＷがある閾値γより大きかった場
合、ズームをワイド側に動かし、処理Ｐ３に戻る。
【００４８】処理Ｐ９では処理Ｐ７で算出された被写体
面積Ａｎｏｗが、被写体モデル設定時の被写体面積Ａｉ
ｎｉｔに対して、 Ａｎｏｗ＞Ａｉｎｉｔ＋δ …［５］ ならばズームをワイド側へ動かし、 Ａｎｏｗ＜Ａｉｎｉｔ−δ …［６］ ならばズームをテレ側へ動かし、 Ａｉｎｉｔ−δ≦Ａｎｏｗ≦Ａｉｎｉｔ＋δ …［７］ ならばズームを静止させる。ここでδはズームを動作さ
せない不感帯を決める値である。
面積Ａｎｏｗが、被写体モデル設定時の被写体面積Ａｉ
ｎｉｔに対して、 Ａｎｏｗ＞Ａｉｎｉｔ＋δ …［５］ ならばズームをワイド側へ動かし、 Ａｎｏｗ＜Ａｉｎｉｔ−δ …［６］ ならばズームをテレ側へ動かし、 Ａｉｎｉｔ−δ≦Ａｎｏｗ≦Ａｉｎｉｔ＋δ …［７］ ならばズームを静止させる。ここでδはズームを動作さ
せない不感帯を決める値である。
【００４９】また、ズームをそれぞれの方向に動かす速
度Ｖは、 Ｖ∝｜Ａｎｏｗ／Ａｉｎｉｔ｜ …［８］ である。つまり、初期設定時の面積に対する現在の面積
の比に比例している値を与える。
度Ｖは、 Ｖ∝｜Ａｎｏｗ／Ａｉｎｉｔ｜ …［８］ である。つまり、初期設定時の面積に対する現在の面積
の比に比例している値を与える。
【００５０】処理Ｐ１０では、処理Ｐ９によりズームが
テレ側へ動かすと決められており、かつ、処理Ｐ３で決
定された被写体座標（Ｘ，Ｙ）が、画面の端領域、例え
ば図５に示される幅εの領域にある場合は、ズームを静
止させ、処理Ｐ３に戻る。これにより、画面端領域に被
写体が存在するときに、ズームがテレ側に動くことによ
り被写体が画面から外れてしまうことを回避する。
テレ側へ動かすと決められており、かつ、処理Ｐ３で決
定された被写体座標（Ｘ，Ｙ）が、画面の端領域、例え
ば図５に示される幅εの領域にある場合は、ズームを静
止させ、処理Ｐ３に戻る。これにより、画面端領域に被
写体が存在するときに、ズームがテレ側に動くことによ
り被写体が画面から外れてしまうことを回避する。
【００５１】処理Ｐ１１では以上の各処理出の結果を踏
まえて、最終的にズームを制御する値を決定し、ズーム
モータ１２へ出力を与え処理Ｐ３に戻る。ここで、ズー
ムをテレ側に制御している状態とワイド側に制御してい
る状態との間を頻繁に往復させると画像が見苦しくなる
ので、テレ側に制御する値あるいはワイド側に制御する
値が所定回数（所定時間）続いたときのみ、その方向に
ズームを動かす。
まえて、最終的にズームを制御する値を決定し、ズーム
モータ１２へ出力を与え処理Ｐ３に戻る。ここで、ズー
ムをテレ側に制御している状態とワイド側に制御してい
る状態との間を頻繁に往復させると画像が見苦しくなる
ので、テレ側に制御する値あるいはワイド側に制御する
値が所定回数（所定時間）続いたときのみ、その方向に
ズームを動かす。
【００５２】また、以上述べた一連の処理の最中に、撮
影者によりマニュアルズーム操作が行なわれた場合に
は、マニュアルズーム操作の終了した時点での被写体の
大きさを初期設定時の被写体面積として置き換える。
影者によりマニュアルズーム操作が行なわれた場合に
は、マニュアルズーム操作の終了した時点での被写体の
大きさを初期設定時の被写体面積として置き換える。
【００５３】
【発明の効果】以上詳細に説明したように、本発明によ
れば、画面における被写体の大きさを効果的に算出する
ことができ、その被写体の面積に応じてズームを制御
し、被写体を画面内に適切な大きさで保持することがで
きる。このため、撮影者は画角設定のためのズーム制御
という煩わしさから解放される。
れば、画面における被写体の大きさを効果的に算出する
ことができ、その被写体の面積に応じてズームを制御
し、被写体を画面内に適切な大きさで保持することがで
きる。このため、撮影者は画角設定のためのズーム制御
という煩わしさから解放される。
【図１】本発明を適用した撮像装置の構成を示すブロッ
ク図である。
ク図である。
【図２】追尾信号処理回路の内部で行なわれる処理を示
すフローチャートである。
すフローチャートである。
【図３】被写体モデルの設定例を示す図である。
【図４】スムージング前後の被写体候補画素集団を示す
図である。
図である。
【図５】画面の端領域の設定例を示す図である。
２…ズームレンズ、４…撮像素子、９…追尾制御回路、
１０…画像メモリ、１１…追尾信号処理回路、１２…ズ
ームモータ
１０…画像メモリ、１１…追尾信号処理回路、１２…ズ
ームモータ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０３Ｂ 3/00 Ａ
Claims (11)
- 【請求項１】 撮像素子からの画像信号を周期的に記憶
する画像記憶手段と、 上記画像記憶手段に記憶された画像情報から輝度・色差
空間における被写体モデルを作成する被写体モデル作成
手段と、 上記被写体モデルを用いて、上記画像記憶手段に記憶さ
れた画像情報から被写体を抽出する被写体抽出手段と、 上記被写体抽出手段により抽出された画素より被写体面
積を算出する被写体面積算出手段と、 上記被写体面積を初期設定時の被写体の面積に対して所
定の範囲になるようにズームを制御するズーム制御手段
とを備えることを特徴とする自動ズーム制御装置。 - 【請求項２】 被写体面積算出手段は、画像記憶手段よ
り被写体として抽出された画素集合から画素平面上のノ
イズ成分を除去した被写体画素集合の縦方向の長さと横
方向の長さの積を被写体面積とすることを特徴とする請
求項１に記載の自動ズーム制御装置。 - 【請求項３】 ズーム制御手段は、初期設定時での被写
体面積に対して現在の被写体面積が大きいときにはズー
ムをワイド側に動かし、小さいときにはズームをテレ側
に動かすと共に、初期設定時での被写体面積に対する現
在の被写体面積の比によりズームを動かす速度を変化さ
せることを特徴とする請求項１に記載の自動ズーム制御
装置。 - 【請求項４】 初期設定時には撮影者がズームをマニュ
アル操作しない限り、ワイド側に固定しておくことを特
徴とする請求項１に記載の自動ズーム制御装置。 - 【請求項５】 被写体抽出手段により被写体が画面の端
領域にいると判断されたときは、現在の被写体面積が初
期設定時の被写体面積よりも小さい場合であってもズー
ムをテレ側に動かさないことを特徴とする請求項１に記
載の自動ズーム制御装置。 - 【請求項６】 被写体抽出手段により抽出された被写体
の横方向の長さ、もしくは縦方向の長さがある閾値以上
ならば、被写体面積にかかわらず、前記長さに応じてズ
ームをワイド側に動かすことを特徴とする請求項１に記
載の自動ズーム制御装置。 - 【請求項７】 被写体抽出手段により被写体として抽出
された画素の密度がある閾値以下であることにより、明
確に被写体として抽出されていないと判断されたときに
はズームを静止させることを特徴とする請求項１に記載
の自動ズーム制御装置。 - 【請求項８】 ズームを動かす方向を変化させる際に
は、上記変化させる制御結果がある一定時間以上続いた
後に行なうことを特徴とする請求項１に記載の自動ズー
ム制御装置。 - 【請求項９】 自動ズーム制御を行なっている間にマニ
ュアルズームにより強制的にズーム倍率を変えられた場
合は、マニュアルズームが終了した時点の被写体面積を
初期設定時の被写体面積として設定し直すことを特徴と
する請求項１に記載の自動ズーム制御装置。 - 【請求項１０】 撮像素子からの画像信号を周期的に画
像記憶手段に記憶し、上記画像記憶手段に記憶された画
像情報を用いて自動ズーム制御を行なう方法であって、 上記画像記憶手段に記憶された画像情報から画像情報を
取得して輝度・色差空間における被写体モデルを作成
し、 上記被写体モデルを用いて、上記画像記憶手段に記憶さ
れた画像情報から被写体を抽出して上記被写体の被写体
面積を算出し、 上記被写体面積を初期設定時の被写体の面積に対して所
定の範囲になるようにズームを制御することを特徴とす
る自動ズーム制御方法。 - 【請求項１１】 撮像素子と、 上記撮像素子からの画像信号を周期的に記憶する画像記
憶手段と、 上記画像記憶手段に記憶された画像情報から画像情報を
取得し、輝度・色差空間における被写体モデルを作成す
る被写体モデル作成手段と、 上記被写体モデルを用いて、上記画像記憶手段に記憶さ
れた画像情報から被写体を抽出する被写体抽出手段と、 上記被写体抽出手段により抽出された画素より被写体面
積を算出する被写体面積算出手段と、 上記被写体面積を初期設定時の被写体の面積に対して所
定の範囲になるようにズームを制御するズーム制御手段
とを備えることを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7233330A JPH0965197A (ja) | 1995-08-18 | 1995-08-18 | 自動ズーム制御装置、自動ズーム制御方法、及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7233330A JPH0965197A (ja) | 1995-08-18 | 1995-08-18 | 自動ズーム制御装置、自動ズーム制御方法、及び撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0965197A true JPH0965197A (ja) | 1997-03-07 |
Family
ID=16953461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7233330A Pending JPH0965197A (ja) | 1995-08-18 | 1995-08-18 | 自動ズーム制御装置、自動ズーム制御方法、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0965197A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7330607B2 (en) | 2003-10-07 | 2008-02-12 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling an auto-zooming operation of a mobile terminal |
| US7742085B2 (en) | 2002-12-12 | 2010-06-22 | Lg Electronics Inc. | Zoom method of a digital camera based on extracted values |
| WO2011013544A1 (ja) * | 2009-07-28 | 2011-02-03 | ソニー株式会社 | 制御装置、制御方法、プログラム、制御システム |
| JP2011259285A (ja) * | 2010-06-10 | 2011-12-22 | Canon Inc | 撮像装置 |
| US8493477B2 (en) | 2009-12-21 | 2013-07-23 | Canon Kabushiki Kaisha | Image-capturing apparatus with automatically adjustable angle of view and control method therefor |
-
1995
- 1995-08-18 JP JP7233330A patent/JPH0965197A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7742085B2 (en) | 2002-12-12 | 2010-06-22 | Lg Electronics Inc. | Zoom method of a digital camera based on extracted values |
| US7330607B2 (en) | 2003-10-07 | 2008-02-12 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling an auto-zooming operation of a mobile terminal |
| WO2011013544A1 (ja) * | 2009-07-28 | 2011-02-03 | ソニー株式会社 | 制御装置、制御方法、プログラム、制御システム |
| JP2011030040A (ja) * | 2009-07-28 | 2011-02-10 | Sony Corp | 撮像制御装置、撮像制御方法、プログラム、撮像システム |
| US8493477B2 (en) | 2009-12-21 | 2013-07-23 | Canon Kabushiki Kaisha | Image-capturing apparatus with automatically adjustable angle of view and control method therefor |
| JP2011259285A (ja) * | 2010-06-10 | 2011-12-22 | Canon Inc | 撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5745175A (en) | Method and system for providing automatic focus control for a still digital camera | |
| US7548269B2 (en) | System for autofocusing a moving object | |
| WO2018201809A1 (zh) | 基于双摄像头的图像处理装置及方法 | |
| US7801432B2 (en) | Imaging apparatus and method for controlling the same | |
| US6151070A (en) | Image pickup apparatus | |
| JP4861952B2 (ja) | 画像処理装置及び撮像装置 | |
| US8274572B2 (en) | Electronic camera capturing a group of a plurality of specific objects | |
| CN102739954B (zh) | 能够合成图像的摄像装置 | |
| JP2006211139A (ja) | 撮像装置 | |
| JP2008054295A (ja) | 撮影装置および方法並びにプログラム | |
| US7957633B2 (en) | Focus adjusting apparatus and focus adjusting method | |
| JPH05130484A (ja) | 手ブレ補正機能付きビデオカメラの画角補正回路 | |
| CN102006485B (zh) | 图像处理装置及图像处理方法 | |
| JP5426874B2 (ja) | オートフォーカスシステム | |
| JP4596246B2 (ja) | オートフォーカスシステム | |
| JP2006058431A (ja) | オートフォーカスシステム | |
| CN115002342A (zh) | 目标对象跟踪方法、装置、摄像机及存储介质 | |
| JP2008227918A (ja) | 撮像装置 | |
| JP2003322789A (ja) | 合焦装置、カメラ、及び合焦位置検出方法 | |
| JPH0965197A (ja) | 自動ズーム制御装置、自動ズーム制御方法、及び撮像装置 | |
| JP7383438B2 (ja) | 撮像制御装置、撮像装置、及び撮像制御方法 | |
| US8582016B2 (en) | Photographing apparatus and focus detecting method using the same | |
| JP3700207B2 (ja) | 自動露出制御装置、自動露出制御方法、及び撮像装置 | |
| JPH0628399B2 (ja) | カメラにおける自動追尾装置 | |
| JPH06153047A (ja) | ビデオカメラシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041109 |