JP3624037B2 - 画像入力装置および画像処理装置 - Google Patents
画像入力装置および画像処理装置 Download PDFInfo
- Publication number
- JP3624037B2 JP3624037B2 JP34389695A JP34389695A JP3624037B2 JP 3624037 B2 JP3624037 B2 JP 3624037B2 JP 34389695 A JP34389695 A JP 34389695A JP 34389695 A JP34389695 A JP 34389695A JP 3624037 B2 JP3624037 B2 JP 3624037B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- imaging mode
- control
- mode setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はカメラ等の画像入力装置および画像処理装置に係わり、特に、画像切り出し機能を有する撮像システムに用いて好適なものである。
【０００２】
【従来の技術】
従来、撮像手段においては、信号処理のデジタル化に伴って映像情報の処理の自由度や加工の自由度が上がるに従って、内部での処理は輝度レベル、色調の変換、ホワイトバランス処理、量子化サイズ変換などの比較的軽易な処理からエッジ抽出機能や色成分の逐次成長法を用いた画像抽出機能（テレビジョン学会技術方向、ｖｏｌ．１８．ｐｐ．１３−１８．１９９４）を有するものなどが実現されている。
【０００３】
また、背景画像との差分に基づいて画像抽出を行う手法においては、特開平６−２５３１９７号公報では、背景画像の撮像時に平均輝度が適正となるように絞り制御手段を設定し、背景画像と同じ設定値を用いて現画像を撮像する。そして、それらの画像の差分データに基づいて物体画像の抽出を行うようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、上記撮像手段の内部に被写体抽出時に撮像モードを外部から制御するためのコマンド通信制御手段、または撮像手段内に被写体抽出用画像を撮像する際に必要な撮像パラメータの制御機能が設けられていなかったので、画像抽出に最適な撮像条件を設定することができない問題があった。
【０００５】
したがって、従来の撮像手段の場合には、画像抽出の目的のために照明条件の変化、被写体運動の有無、撮像手段自体の運動の有無など、撮影状況に応じて撮像条件を最適に設定することができなかった。
【０００６】
本発明は上述の問題点にかんがみ、被写体抽出を高速に行うことができるようにするとともに、抽出画像を高画質化するために必要な撮像条件を制御できるようにすることを第１の目的とする。
【０００７】
本発明の第２の目的は、被写体抽出のための撮像動作の特性を外部から制御できるようにするとともに、抽出された画像を遠隔地点へ転送できるようにすることである。
【０００８】
本発明の第３の目的は、被写体抽出のための撮像パラメータを外部から制御できるようにするとともに、抽出される被写体画像を遠隔地点へ転送できるようにすることである。
【０００９】
本発明の第４の目的は、被写体抽出のための撮像条件の設定とパラメータの制御を自動的に行うことができるようにすることである。
【００１０】
本発明の第５の目的は、被写体抽出時の画像入力装置の操作性を向上させるようにすることである。
【００１１】
本発明の第６の目的は、被写体抽出を精密に行うために必要な画像の前処理を画像入力装置の内部で行うことができるようにするとともに、撮像動作から抽出画像の出力までを高速に行うことができるようにすることである。
【００１２】
本発明の第７の目的は、照明条件によらず、かつ任意の背景から特定被写体の安定した画像切り出しを行うことができるようにすることである。
【００１３】
本発明の第８の目的は、照明条件の影響を受けずに高精度な被写体抽出を行うことができ、かつ抽出時の高画質化のための露光量の制御とそれに基づく画像切り出しを行うことができるようにすることである。
【００１４】
本発明の第９の目的は、撮像時の照明条件、被写体距離に応じて切り出し画像の高画質化と処理の高速化のために適切な撮像パラメータを選択的に制御できるようにすることである。
【００１５】
本発明の第１０の目的は、複数撮像条件での撮像動作において安定した画像の切り出しを高速に行うことができるようにすることである。
【００１６】
本発明の第１１の目的は、切り出し画像が静止画か動画かに応じた適切な画像圧縮を自動的に選択できるようにすることである。
【００１７】
本発明の第１２の目的は、被写体が動体であるか否かにかかわらず、または撮像手段と被写体との間に相対的な運動があるか否かにかわらず安定した画像切り出しを行うことができるようにすることである。
【００１８】
本発明の第１３の目的は、外部端末などからの通信手段を介した制御や複雑なマニュアル操作を行うことなく被写体抽出用の撮像動作を適切に行うことができるようにすることである。
【００１９】
【課題を解決するための手段】
本発明の画像入力装置は、被写体抽出用の撮像を行うための撮像手段と、上記撮像手段が被写体抽出するための撮像モードを設定する撮像モード設定手段と、上記撮像モード設定手段によって設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段とを具備することを特徴としている。
【００２０】
また、本発明の他の特徴とするところは、被写体抽出用の撮像を行うための撮像手段と、予め設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段と、上記撮像手段が複数の撮像条件で撮像して生成した画像に所定の処理を施して画像の切り出しを行う切り出し画像処理手段と、上記撮像手段の撮像動作を制御する制御コマンドに関する通信を行う制御コマンド通信手段と、上記撮像手段により生成された画像データを外部に転送するための画像転送手段とを具備することを特徴としている。
【００２１】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記制御コマンド通信手段から与えられる制御コマンドに基づいて上記撮像パラメータを制御することを特徴としている。
【００２２】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は撮像モード設定ボタンを有し、上記撮像モード設定ボタンが操作されることにより撮像モードの設定動作を開始し、上記撮像パラメータ計測制御手段は撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしている。
【００２３】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴としている。
【００２４】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段を具備し、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うことを特徴としている。
【００２５】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備している。
【００２６】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴としている。
【００２７】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像パラメータの優先順位を設定可能であることを特徴としている。
【００２８】
また、本発明のその他の特徴とするところは、上記画像記録手段は、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段および画像転送手段を有することを特徴としている。
【００２９】
また、本発明のその他の特徴とするところは、上記画像記録手段は、動画または静止画対応の画像圧縮符号化手段を有し、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変であることを特徴としている。
【００３０】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、時系列画像から画像切り出しを行う画像切り出し処理部と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段とを有することを特徴としている。
【００３１】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作することを特徴としている。
【００３２】
【作用】
本発明は上記技術手段よりなるので、本出願に係わる第１の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することが可能となり、また撮像条件の制御により抽出画像の画質を最適化することが可能となる。
【００３３】
本出願に係わる第２の発明によれば、撮像開始コマンドの投入、モードロック、画像取り込みのトリガーとなる画像の特徴量などを外部から制御可能となるので、遠隔操作による特定被写体の画像を抽出することができ、かつ上記抽出した画像を遠隔地点へ転送可能とすることが可能となる。
【００３４】
本出願に係わる第３の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能となる。
【００３５】
本出願に係わる第４の発明によれば、撮像パラメータのマニュアル設定を行うことなく被写体抽出用の撮像モードを自動的に設定することが可能となる。
【００３６】
本出願に係わる第５の発明によれば、撮像条件が異なる複数画像から特定被写体の抽出用の撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作が不要となり、操作性を向上させることができるようになる。
【００３７】
本出願に係わる第６の発明によれば、比較データ生成手段により生成される比較データおよび制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理が行われるので、撮像条件を制御して特定被写体画像を切り出す処理に必要な初期データを高速に算出することができるようになる。
【００３８】
本出願に係わる第７の発明によれば、解像度（ピント）を適切に制御した複数画像から特定被写体画像を高速に抽出することが可能となり、また環境や照明条件の変動に影響されることが少なくて安定した被写体抽出を行うことが可能となる。
【００３９】
本出願に係わる第８の発明によれば、画像フレーム全体または特定領域での露光条件を適切に制御して、特定被写体画像を高速に、かつ安定的に抽出することができるようになる。
【００４０】
本出願に係わる第９の発明によれば、撮像パラメータの優先順位が設定可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定することが可能となる。
【００４１】
本出願に係わる第１０の発明によれば、信号処理を施されない映像信号を画像記録手段が記憶しているので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことが可能となる。
【００４２】
本出願に係わる第１１の発明によれば、動画または静止画対応の画像圧縮符号化手段が設けられており、かつ被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変ので、静止画または動画での画像切り出しを行うことが可能となるとともに、抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を選択することが可能となる。
【００４３】
本出願に係わる第１２の発明によれば、動画での特定被写体の安定した切り出しが可能となる。
【００４４】
本出願に係わる第１３の発明によれば、外部端末からのオンライン操作なしでも被写体抽出を行うために必要な基本撮像動作を適切に行うことができるようになる。
【００４５】
【発明の実施の形態】
以下、本発明の画像入力装置、画像処理装置の実施形態を図面を参照して説明する。
図１は、本発明の画像入力装置の要部構成を示す機能構成図である。図１において、Ａは撮像モード設定手段、Ｂは撮像パラメータ計測制御手段、Ｃは記録手段、Ｄは撮像手段、Ｅは切り出し画像処理手段、Ｆは制御コマンド通信手段、Ｇは画像転送手段である。
【００４６】
上記撮像モード設定手段Ａは、上記撮像手段Ｄが被写体抽出するための撮像モードを設定する。また、上記撮像モード設定手段Ａは、撮像モード設定ボタン（図示せず）を有し、上記撮像モード設定ボタンが操作されると撮像モードの設定動作を開始する。また、上記撮像モード設定手段Ａは、上記撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動的に復帰するようになっている。
【００４７】
上記撮像パラメータ計測制御手段Ｂは、上記撮像モード設定手段Ａによって設定された撮像モードに基づく撮像パラメータの計測制御を行う。また、予め設定された撮像モードに基づいて撮像パラメータの計測制御を行うこともある。さらに、上記制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて撮像パラメータを制御することもある。また、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するとともに、撮像パラメータの優先順位を設定可能である。
【００４８】
そして、上記撮像パラメータ計測制御手段Ｂは、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作するようになっている。
さらに、上記撮像パラメータ計測制御手段Ｂは、上記撮像モード設定手段Ａからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段（いずれも図示せず）を具備している。
【００４９】
また、上記取り込み信号発生手段は、上記撮像モード設定手段Ａからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する。
【００５０】
上記記録手段Ｃは、上記撮像パラメータおよび画像を記録するために設けられているものである。また、上記画像記録手段Ｃは、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段Ｃおよび画像転送手段Ｇを有している。上記画像記録手段Ｃは、動画または静止画対応の画像圧縮符号化手段（図示せず）を有していて、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法を可変できるようになっている。
【００５１】
上記撮像手段Ｄは、被写体抽出用の撮像を行うために設けられているものである。
【００５２】
上記切り出し画像処理手段Ｅは、上記撮像手段Ｄにより複数の撮像条件で得られた画像に所定の処理を施して画像の切り出しを行う。また、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段（図示せず）を具備しており、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて切り出し画像の処理を行う。
【００５３】
さらに、上記切り出し画像処理手段Ｅは、時系列画像から画像切り出しを行う画像切り出し処理部（図示せず）と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段（図示せず）とを有している。
【００５４】
上記制御コマンド通信手段Ｆは、上記撮像手段Ｄの撮像動作を制御する制御コマンドに関する通信を行うものである。
上記画像転送手段Ｇは、上記撮像手段Ｄにより生成された画像データを外部に転送するためのものである。
【００５５】
上述のように、構成された画像入力装置によれば、上記撮像手段Ｄが特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【００５６】
また、本発明の他の特徴によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【００５７】
また、本発明その他の特徴によれば、制御コマンド通信手段Ｆを介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【００５８】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａに撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始するようにして、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定する。これにより、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【００５９】
また、本発明その他の特徴によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を向上させることができる。
【００６０】
また、本発明その他の特徴によれば、上記比較データ生成手段により生成される比較データおよび制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【００６１】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度（ピント）制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【００６２】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段（図示せず）を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【００６３】
また、本発明その他の特徴によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を図ることができる。
【００６４】
また、本発明その他の特徴によれば、信号処理が施されない映像信号を画像記録手段Ｃに記憶するようにしたので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御のもとで高速撮像動作を行うことができる。これにより、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるとともに、画質の安定化を図ることができる。
【００６５】
また、本発明その他の特徴によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【００６６】
また、本発明その他の特徴によれば、被写体動作の有無、カメラワーク（パンニング、スキャンニングなど）の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での選択的切り出しを行うことができる。
【００６７】
また、本発明その他の特徴によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、上記撮像パラメータ計測制御手段Ｂを動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができる。また、被写体抽出に必要な基本撮像動作を適切に行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【００６８】
次に、本発明の画像入力装置のより具体的な構成および動作を実施形態に基づいて詳細に説明する。
まず、第１の実施形態について説明する。
本実施形態ではピント状態を制御して異なる撮像条件での画像から特定被写体抽出処理を照明条件などによらず安定的かつ高速に行う。
【００６９】
図２は、特定被写体の抽出用の撮像モードと抽出処理機構を有する画像処理カメラの要部構成図である。なお、被写体抽出の撮像モードとは、撮像パラメータ（レンズ配置、シャッタ速度、絞り口径など）を制御して複数の画像データをイメージセンサから画像記録（記憶）手段に出力するまでの撮像動作モードを表している。
【００７０】
図２において、１は画像入力手段である撮像手段全体（カメラヘッダ）、２は結像光学系、３はレンズモータ駆動制御部であり、合焦レンズ駆動手段（フォーカスモータ）、ズームレンズ駆動手段、およびマウントされたレンズの種別等のレンズ情報読み出し（計測）手段などから構成される。
【００７１】
４はイメージセンサで典型的にはＣＣＤなどの固体撮像素子、５は撮像パラメータ計測制御手段であり、ズーム検出制御手段５１、焦点信号（合焦状態）検出制御手段５２（合焦状態検出部５２ａ、フォーカス制御部５２ｂ）、シャッタ速度検出制御手段５３、絞り計測制御手段５４、などを備えている。
【００７２】
上記シャッタ速度制御手段５３は、不図示の機械的シャッタの制御を行うもので、電子シャッタを用いる場合は後述するセンサ駆動回路１８で実質的なシャッタ速度（電荷蓄積時間）を制御して行う。合焦状態の検出は映像信号を用いた検出方式、赤外線を用いた測距方式のいずれでもよい。
【００７３】
６は画像記録再生手段であり、撮像時には記録媒体（テープ媒体、光（磁気）ディスク媒体、或いはＩＣメモリカード等のＩＣメモリ媒体など）に所定のフォーマットでデジタル記録する。
【００７４】
なお、記録媒体または画像記録再生手段６は、カメラ本体と着脱可能としてもよい。また、記録媒体には被写体抽出モードでの撮像動作手順プログラムおよび必要データなどを書き込んでおき、その情報に基づいて映像を行うように制御してもよい。
【００７５】
画像の再生時は、ビューファインダ（ＥＶＦなど）７または後述するデータ転送手段１２に画像データを出力する。８は撮像パラメータ記録手段であり、レンズモータ駆動手段３からのレンズ情報、撮像パラメータ、画像信号特性パラメータおよびストロボ発光の有無、スキャンニングなどの意図的なカメラ操作（運動）、手ぶれの有無などを含む撮像時の情報を記録する。
【００７６】
特に、カメラ操作（スキャン、パンなど）については映像信号処理により検出してもよいし、撮像手段に不図示の加速度センサ、或いはジャイロ等を内蔵させ、その出力データから判定してもよい。
【００７７】
９は被写体抽出のための被写体抽出モード設定手段としてのスイッチであり、これが設定されるとスイッチの投入に続く不図示のシャッタボタン等からの撮像開始動作信号により、被写体抽出用の撮像モードによる画像取り込みが行われる。
【００７８】
なお、撮像開始用スイッチは被写体抽出モード設定スイッチを兼ねるように構成してもよい。１０は外部からのコマンドデータ通信制御手段、１１は出力画像生成手段で、出力先に応じてアナログ／デジタル画像信号を生成する。
【００７９】
例えば、ＴＶ受像機にはＮＴＳＣ信号またはＰＡＬ信号を生成する。さらに、出力機器に応じた濃淡の階調補正、誤差拡散処理、色成分補正処理を行った画像信号をディスプレイ、プリンタなどに出力してもよい。
【００８０】
このような出力信号の生成、加工の指示はコマンドデータ通信制御手段１０を介して外部から行うか、またはカメラの不図示の操作パネル上スイッチなどを用いて行えるものとする。
【００８１】
１２はデータ転送手段であり、不図示の通信インターフェイス手段、アダプター端子などを含む、外部の表示装置やコンピュータなどに画像データなどを出力するときに用いる。
１３は被写体切り出し用画像処理手段で、複数の撮像条件で得られる画像を後述する方法により処理して画像の切り出しを行う。
【００８２】
１４は画像取り込み信号発生手段であり、露光条件、撮像条件の制御状態のチェック、イメージセンサ（ＣＣＤ）での電荷蓄積・転送時間、およびメモリでの画像の書き込み制御手段のタイミングなどを考慮して、適切な撮像の取り込みを行うためのものである。
【００８３】
１５は複数撮像条件の設定手段としてのシステム制御部であり、コマンドデータ通信制御手段１０、被写体抽出モード設定スイッチ９からの信号、或いは画像記録再生手段６の記録媒体に書き込まれた制御プログラムの情報を読み込むことにより被写体抽出モードでの一連の撮像動作用制御信号を発生する。
【００８４】
１６は絞り、１７は映像信号処理部であり、前処理回路（１７ａ：サンプルアンドホールド回路、オートゲインコントロール回路、Ａ／Ｄ変換回路など）、ガンマ補正制御回路１７ｂ、その他の映像信号処理回路（１７ｃ：ホワイトバランス補正回路、手ぶれ補正回路等を含む）から構成される。なお、これらの回路構成は図２に概略的に図示したものに限定されるものではない。
【００８５】
１８はセンサ駆動回路であり、上記イメージセンサ４を駆動して電荷蓄積時間、転送タイミングなどを制御する。なお、図２においては、本実施形態に特に関係した制御信号の流れを矢印で示してある。
【００８６】
本実施形態では、被写体抽出用撮像モードにおいては合焦レベル検出手段からの出力に基づいて、合焦用レンズモータ（フォーカスモータ）を駆動し、最適合焦レベル、すなわち、被写体に最もピントの合った状態において、イメージセンサから高解像画像の取り込みを行う。
【００８７】
その後、続いて直前の合焦レンズモータの駆動方向と同一方向にピントずれが生じるように駆動し、適切な非合焦レベルでの低解像画像の取り込みを連続的に行う。ここで、適切な非合焦レベルとは予め設定され、記憶手段に記録された値、または外部の端末などからのコマンド信号により設定された値のことであり、例えば合焦レベルからの割合（合焦値の９割のような数値）などで与えられる。また、更に異なる非合焦レベルで撮像し、画像切り出しの初期データ抽出（粗く切り出された画像データ）のために用いてもよい。
【００８８】
以上にような連続撮像動作が終了すると、自動的に被写体抽出モードが解除されるか、或いは被写体抽出モード設定スイッチ９により、標準モードへの復帰設定がなされる。なお、上述した撮像モードの設定および解除等の操作は不図示の端末からのコマンド入力により行ってもよい。
【００８９】
図３は、外部装置からの制御コマンドを受けずに基本的にカメラ上のスイッチ操作等で行う場合、ピント状態の異なる複数画像を撮像して画像切り出し処理を行うまでの基本処理フローである。
【００９０】
図３にしたように、処理が開始されると、先ず、電源が投入されてカメラがスタンバイ状態に設定される（ステップＳ５ａ）。次に、被写体抽出撮像モードに設定され、撮像条件データの読み込みが行われる（ステップＳ５ｂ）。これは、複数撮像条件設定制御手段１５に内蔵されている撮像条件制御のための標準パラメータ値（例えば、非合焦レベルの範囲、切り出し処理のための撮像枚数、など）、或いは基本制御プログラムなどを読み出す処理である。
【００９１】
次に、ステップＳ５ｃに進んで、レンズ情報検出、撮像パラメータ記憶手段に記録する処理を行う。これは、レンズ情報等マウントされた結像光学系のスペック、種別をレンズモータ駆動手段３により検出する処理である。この情報は、ピント制御時にフォーカスモータの駆動量を適切に制御するか、或いは以前に用いられた撮像条件と同一に設定する際に、光学系の種別に応じた設定の高速化を可能とする目的で用いられる。
【００９２】
その後、通常の撮像モードと同様に倍率設定し（ステップＳ５ｄ）、測光と（自動）露出条件の設定を行う（ステップＳ５ｅ）。次に、被写体に対して最適合焦レベルになるまでフォーカスモータを駆動して焦点信号評価を行う（ステップＳ５ｆ）。その後、ステップＳ５ｇに進んで山登り法などに基づいて合焦判断し、被写体にピントの合った画像を撮像する（ステップＳ５ｈ）。
【００９３】
次に、フォーカスモータを同一方向に所定幅駆動して、焦点信号レベルを評価し（ステップＳ５ｉ）、予め設定した許容範囲内の非合焦レベルであるか否かを判断し（ステップＳ５ｊ）、上記許容範囲内の非合焦レベルであれば、ステップＳ５ｋに進んで撮像を行う。
【００９４】
その後、ステップＳ５ｌに進んで撮像枚数をチェックし、予め設定された最大枚数になるまでピント制御と撮像動作を繰り返す。
また、ステップＳ５ｊの判定の結果、許容範囲内でない場合には、ステップＳ５ｉ’に進み、レンズ駆動方向逆転、駆動幅縮小の処理を行い、その後、ステップＳ５ｉに戻って上述した動作を繰り返し行う。
以下、焦点信号レベルの差が小さい複数画像間で差分画像データの抽出（ステップＳ５ｍ）を行い、画像切り出し処理（ステップＳ５ｎ）を行う。
【００９５】
図４（ａ）は、ピント制御による複数撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示した図である。
図４（ａ）から明らかなように、初期位置からフォーカスレンズを駆動して一旦合焦レベルを検知して撮影した後、所定量フォーカスレベルを駆動して許容範囲内でのピントずれ画像を取り込むことを示している。
【００９６】
図５は、カメラ本体の基本制御手順を示すフローチャートである。上述のように、被写体抽出のための撮像モード設定の仕方は、カメラ本体上での操作による設定（ステップＳ６ａ）、被写体抽出のためのプログラムを内蔵した記録媒体装填による設定（ステップＳ６ｂ）、外部端末などからのコマンドデータ受信による設定（ステップＳ６ｃ）の３通りである。
【００９７】
前２者では、基本制御プログラムを作動し（ステップＳ６ｄ）、コマンドデータ受信による場合では更に制御すべき撮像パラメータ、撮像条件の制御量、撮像枚数、およびカメラ内部での処理範囲（例えば、切り出し処理のための差分データ算出などの前処理、複数撮像条件での撮影のみなどのように指定される）などを設定する（ステップＳ６ｅ）。
【００９８】
なお、基本制御プログラムには、これらの条件が予め標準的に設定されているものとする。複数の撮像条件による撮像時（ステップＳ６ｆ）には、設定されたパラメータに基づく撮像条件の制御（フォーカス制御、ガンマ補正制御）とその時の撮像パラメータ（レンズデータ、焦点距離、倍率、焦点信号、フォーカスレンズ配置、ガンマ制御値、絞り径、電荷蓄積時間など）の記録が行われる。
【００９９】
その後の動作手順は、カメラ内部での処理範囲に応じて、３通りの制御フローに分岐する。
すなわち、第１の動作は標準モードに自動復帰する（ステップＳ６ｊ）ことである。また、第２の動作は、被写体抽出モードでの撮像動作終了後は切り出し条件入力を受ける（ステップＳ６ｇ）ことであり、第３の動作は、予め設定された標準条件で切り出し処理（ステップＳ６ｈ：後述）を行うことである。
【０１００】
処理終了後は、切り出し画像をカメラ本体内の記憶手段に記録するか、外部メモリまたは表示装置へ転送する（ステップＳ６ｉ）か、或いはファインダやディスプレイ等のモニタに表示（ステップＳ６ｉ′）してもよい。以上の処理の終了後、標準撮像モードへの自動または手動による復帰（ステップＳ６ｊ）が行われる。
【０１０１】
以下に、上記イメージセンサ４から取り込まれた各画像の処理過程について詳述する。
合焦状態（ピント）を制御して得られる少なくとも２つのセンサからの映像信号に対して、それぞれ映像信号処理手段１７ｃにおいてガンマ補正、ホワイトバランス補正などを行う。
【０１０２】
そして、撮像手段内部の切り出し画像処理手段１３においては、高解像画像（合焦画像）と低解像画像（非合焦画像）との差分、または２つの異なる低解像度画像間の差分データを求め、これらに対して平滑化、２値化、細線化の処理を行う。
【０１０３】
なお、差分以外の処理は、不図示の外部端末などからコマンドデータ通信制御手段１０を介して適切な処理パラメータを入力して行ってもよい。非合焦度の異なる低解像度の複数画像を用いる場合には、空間周波数の高い成分がカットされ、それらの差分データから特定対象の輪郭線を抽出する際、余分な孤立特徴点または孤立領域の影響を抑制することができる。
【０１０４】
したがって、ノイズや背景部の高い空間周波数成分、或いは照明条件に左右されずに精度の安定した初期データ（輪郭線）を得ることができる。なお、差分によって負となる画素の出力値はゼロに設定するか、または、各画素での差分の絶対値を出力してもよい。
【０１０５】
次に、後続する初期データ（輪郭線）抽出処理について説明する。
この処理は、カメラと接続した端末においても行うことができるものとするが、カメラ内部での演算手段による処理については標準処理モードとして登録しておくか、コマンドデータ通信制御手段１０を介して端末などから指定することができるようになっている。
【０１０６】
典型的には、カメラ内部での標準処理としては複数撮像条件の画像間の差分算出および２値化処理または差分算出および平滑化処理などのように基本制御プログラムに設定される。
【０１０７】
撮像条件制御により得られる画像間の比較（差分）データ算出後の平滑化処理は孤立特徴（不定形の同一輝度または色を有する局所領域、ラインセグメントなど）の除去およびガウシアンフィルタ等との畳み込み演算、或いは一般的なローパスフィルタ処理などを行う。
【０１０８】
その後の２値化処理の閾値の設定は大津の方法（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐｐ．３４９−３５６，１９８０）、或いは画像を適切なサイズのブロックに分類した後に、局所的な画像データ（輝度、色など）の統計処理（平均、分散値、ヒストグラムからの仮説検定など）に基づいて設定する方法などを用いればよい。
【０１０９】
図６は、以上に説明した処理方法を適用した画像データの処理経過を示したものである。図６において（１）はピントの合った画像、（２）はピントずれを起こした場合の画像を模式的に強調した図である。
【０１１０】
また、（３）はユーザが（１）の画像を表示手段上で確認しながら抽出被写体内の一点を指示した場合に設定された局所領域を示している。（４）は（１）と（２）の差分画像データから局所領域内において平滑化、２値化、細線化を行った画像を示している。また、（５）は輪郭線追跡処理を行った結果得られる初期輪郭線内の画像の一例を示す図である。
【０１１１】
なお、図示はしないが、差分画像データを求める際には、上述したように合焦度が異なり、かついずれもピントずれのある画像２枚を用いてもよい。本実施形態では、図７に示す構成を用いて画像処理カメラ１の撮像および画像処理動作を端末２１から制御してもよい。
【０１１２】
以下、図７を参照して、演算手段２１としてのコンピュータ端末、表示手段２２（第１の表示装置２２ａ、第２の表示装置２２ｂ）、指示手段（マウス）２３、データ通信ネットワーク手段２４（バスコントロール手段などを含む）を具備した系での画像抽出処理手順について説明する。
【０１１３】
ここでは、マウス２３などで設定した指定点を中心とする一定サイズの局所領域（または、マウス２３などで任意の形状に設定した領域）に対して統計処理に基づいて２値化閾値を設定し、２値化および細線化、輪郭線追跡処理をその領域内で行ってもよい。処理終了後は、その端点を中心とする局所領域を自動設定し同様の処理を繰り返す。この中で、細線化は太い初期輪郭線中の代表点を得るための処理であり、従来の画像処理で行われる方式に限定されるものではない。
【０１１４】
例えば、粗い初期輪郭中の任意の一点から左右上下いずれかの方向に端点を探索し、次にその点に隣接する端点を探索して代表点としてもよい。なお、細線化により近傍領域内で複数のエッジまたは輪郭線が存在する場合には、それらをディスプレイに入力画像と重ね合わせて表示し、いずれのエッジをとるかをマウスなどの手段を用いて選択指示することを可能としてもよい。
【０１１５】
近傍領域内に単一のエッジのみ存在するか、或いはユーザによりエッジが選択されると予め設定された方向に輪郭線追跡処理が行われ、そのエッジに連結する細線化像の各点を初期輪郭線のサンプリング点としてそれぞれの位置を逐次記録する。
【０１１６】
なお、細線化像が分岐構造を有する場合の分岐方向の選択方法としては、分岐前の点の追跡方向と直交方向の輪郭線の画像データ属性（色、輝度またはそれらの分散など）が連続する分岐方向、分岐前後の方向変化が少ない方向を優先して選択する。
【０１１７】
この場合には、分岐後の各点を中心とする微小領域の画像属性を検出して行う。他の方法としては輪郭追跡を中断し、分岐点を中心とする領域を点滅表示するなどして、いずれの分岐をとるかをユーザに選択させてもよい。
【０１１８】
また、２値化、細線化処理により輪郭線が途中で分断された場合にはエッジの接続処理を行う。この場合、所定のアルゴリズム（第２３回画像工学コンファレンス論文集、ｐｐ．６７−７０，１９９２ など参照）により接続を自動的に行うか、或いは輪郭追跡の結果として残存する端点に対して表示手段上で点滅表示する。
【０１１９】
または、他の輪郭線と異なる色表示を行うなど端点であることを明示するように表示を行い、ユーザがそれを確認して接続すべき端点を指示選択手段２３を用いて指示することにより接続してもよい。
【０１２０】
接続点同士を結ぶ輪郭線としては、直線または輪郭線上の代表点を用いてスプライン補間曲線などを生成してもよい。特に、輪郭追跡後の端点が画像フレーム上にある場合は他のフレーム上端点とを結んでもよい。
【０１２１】
以上のようにして、閉じた輪郭線とその内側の画像データを抽出した後、統計的処理などによる背景領域の除去処理、領域成長法、或いは動的輪郭処理法などを適用して更に精密な画像抽出を行ってもよい。
【０１２２】
次に、本発明の画像入力装置の第２の実施形態を説明する。
本実施形態では、切り出し画像処理手段１３において合焦状態を連続的に制御して得られる３つ以上の複数画像間の差分データ（複数ある）の平均化処理を行い、その結果に対して切り出すべき画像の初期輪郭線抽出処理（平滑化、２値化、細線化処理など）を行う。
【０１２３】
このためには、合焦状態検出手段からの出力に基づいて、レベルモータを高速駆動して最適合焦値を含む前半（前ピン）または後半（後ピン）、或いは前ピン、後ピン両方を含む静止画像を少なくとも３枚、所定の時間間隔で連続撮像し、画像記憶手段６に保持する。典型的には、合焦検出による画像取り込み後、複数の非合焦画像を所定枚数だけ連続撮影する。
【０１２４】
図８に、本実施形態のように比較的多数の画像を撮像条件を変えて取り込む場合のカメラ内部の構成を示す。
ここでは、イメージセンサ４からの信号は映像信号処理部を介さずに直接キャッシュメモリなどの一時記憶手段３１に高速切り替え転送手段３０により転送記録される。
【０１２５】
複数撮像条件による撮像、すなわち、一時記憶手段３１への画像書き込みが終了後は順次転送して映像信号処理と画像切り出しに必要な前処理などを行う。なお、この時に上記切り替え転送手段３０は、切り出し画像処理手段１３に直接転送するようにしてもよい。
【０１２６】
このように、センサ４からの映像信号に対して通常行われる非線形処理を施さないことにより撮像時の照明条件の変化、被写体の運動などの影響を抑止して処理精度の安定化をもたすことができる。また、映像信号処理を一連の画像取り込み後に行うことにより、撮像動作の高速化と切り出し処理の安定化、柔軟性の向上をもたらすことができる。
【０１２７】
なお、時系列的に撮像する際、直前の画像データと平均化処理により更新された差分データのみを一時的に保持してもよい。また、初期輪郭線抽出処理に使う画像の枚数を予めＮと指定すると、合焦過程においてＮ以上の画像取り込みがなされる場合は最新のＮ枚画像を保持し（古い順に消去）、しかる後に、差分データの算出と平均化処理を行ってもよい。
【０１２８】
本実施形態のように、複数の合焦状態が僅かに異なる画像間の差分データを平均化することによりノイズの影響を抑制し、精度、分解能の高い画像抽出を実現することができる。
【０１２９】
次に、本発明の第３の実施形態を説明する。
本実施形態では露光条件制御またはセンサ感度特性の制御を伴う複数撮像条件での画像からの抽出処理を行う。
【０１３０】
図９に、画像処理カメラの構成図を示す。この場合に制御される撮像パラメータとしては、絞りの径、イメージセンサのゲイン、ガンマ特性、ストロボ発光強度、ストロボ色温度（発光スペクトル）、センサ（ＣＣＤ）の電荷蓄積時間（またはシャッタ速度）などが挙げられる。なお、上記ガンマ特性は、映像信号処理回部１７に設けられたガンマ補正制御回路１７ｂにより行われる。
【０１３１】
本実施形態では、そのいずれかを映像信号処理部１７、ストロボ発光手段１９、または撮像パラメータ計測制御手段（シャッタ速度制御部５３または絞り計測制御部５４）へ制御信号を送ることにより異なる撮像条件での撮影、すなわち、通常撮像モードでの最適値から微小量制御して得られる画像とその最適条件での画像の撮像を行う。
【０１３２】
また、本実施形態ではどの撮像パラメータを優先的に制御するのかを設定するスイッチ、すなわち、優先順位を設定する優先撮像パラメータ設定手段２０を有する。例えば、上述した実施形態の（非）合焦度と露光条件、センサ感度特性などを相対的に重みを付けて制御するためにピント優先、露光条件優先などの設定スイッチを設けても良い。
【０１３３】
図７に示したシステム構成において、図９の複数撮像条件設定制御部１５は表示装置２２上に表示される画像上の一点をマウス２３等で指示すると、その点を中心とする予め設定されたサイズの領域または全画面において映像信号処理部１７に制御信号を送る。
【０１３４】
そして、通常の撮像モードで設定されるガンマ特性値での画像とその映像信号特性パラメータを各画素または局所領域で制御した（一定の幅で変更した）場合の複数の画像を取り込む、領域の形状、サイズの指定は指示手段２３により直接行ってもよい。
【０１３５】
図４（ｂ）は、輝度レベル（Ｉ１ ＞Ｉ２ ）に応じたガンマ係数の最適値（センサ信号レベルに応じて変わる）からの変化量と輝度レベルの変化量の関係を模式的に示した図である。
【０１３６】
このようにして変調することにより得られる画像間の差分データを適切な閾値で２値化、細線化するとガンマ特性の非線形性により実際の画像中の輪郭線（エッジ成分）に対応した線画像が得られる。これから、第１の実施形態に説明した方法で初期輪郭線を得る。
【０１３７】
なお、絞りの径または電荷蓄積時間の制御は背景と対象物と輝度レベルとが大きく異なる場合、蓄積電荷の非線形な飽和特性により上述した方法による輪郭線抽出が特に有効である場合がある。
【０１３８】
また、ストロボ発光特性（強度、スペクトル）を制御して撮像する際はストロボ光の被写体からの反射強度が十分ある場合（室内撮影時、被写体距離が十分小さい場合など）に有効である。
【０１３９】
次に、本発明の第４の実施形態を説明する。
本実施形態の画像処理カメラは、動画像の録画撮影を行い（手ぶれ補正のための映像信号処理が入る）ながら、被写体抽出用撮像モードスイッチが押されると前実施形態のように自動的に複数撮像条件での連続静止画の記録撮影を行う。
【０１４０】
図１０は、本実施形態の画像処理カメラの要部構成図を示している。
電源投入後、録画撮影モードに設定すると動画像の撮影と記録を行う。記録時には画像圧縮符号化部４０で動画に対してはＭＰＥＧなどによる符号化、切り出し画像に対してはＪＰＥＧなどによる静止画符号化を行ってもよい。
【０１４１】
また、切り出し画像処理手段１３により被写体の動画像が切り出される場合は、切り出された動画像を画像圧縮符号化部４０で動画対応で符号化してもよい。このような処理の切り替えは、被写体抽出モード設定スイッチのオン・オフ信号に応じて複数撮像条件設定制御部１５が画像圧縮符号化部４０に切り替え制御信号を送ることによって行われる。
【０１４２】
画像圧縮符号化部４０は、動画または連続静止画かのインデクスを画像データのヘッダ部またはヘッダファイルとして生成する。本実施形態では、被写体抽出のための被写体抽出モード設定スイッチ９が押されると、撮像条件を制御しながら高速画像取り込みが前実施形態と同様に行われ、映像信号処理部１７から出力される映像信号データを切り出し画像処理手段１３で処理し、切り出し画像を画像圧縮符号化部４０に出力して更に圧縮符号化してもよい。
【０１４３】
被写体抽出モードで得られる連続静止画に対して切り出し処理を行った結果得られる抽出画像を登録し、更にこれをテンプレート画像として用い、画像追跡手段４１で被写体画像の追跡を行い、動画で切り出し処理を行ってもよい。
このようにして動画像でアングルを変えて撮影しながら、切り出したい視点位置からの静止画像の高画質化を実現することができる。
【０１４４】
【発明の効果】
本発明は上述したように、本出願に係わる第１の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【０１４５】
本出願に係わる第２の発明によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【０１４６】
本出願に係わる第３の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【０１４７】
本出願に係わる第４の発明によれば、撮像モード設定手段に撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始して、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしたので、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【０１４８】
本出願に係わる第５の発明によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を大幅に向上させることができる。
【０１４９】
本出願に係わる第６の発明によれば、比較データ生成手段により生成される比較データ、および制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【０１５０】
本出願に係わる第７の発明によれば、撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度（ピント）制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【０１５１】
本出願に係わる第８の発明によれば、撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【０１５２】
本出願に係わる第９の発明によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができる。これにより、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を行うことができる。
【０１５３】
本出願に係わる第１０の発明によれば、信号処理が施されない映像信号を画像記録手段に記憶したので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御の下で高速撮像動作を行うことができ、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるようにすることができるとともに、画質の安定化を図ることができる。
【０１５４】
本出願に係わる第１１の発明によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【０１５５】
本出願に係わる第１２の発明によれば、被写体動作の有無、カメラワーク（パンニング、スキャンニングなど）の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での切り出しを選択的に行うことができる。
【０１５６】
本出願に係わる第１３の発明によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、撮像パラメータ計測制御手段を動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができ、被写体抽出に適切な基本撮像動作を行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【図面の簡単な説明】
【図１】本発明の画像入力装置の要部構成を示す機能構成図である。
【図２】ピント制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図３】被写体抽出モードにおける画像入力装置内部での基本処理を示すフローチャートである。
【図４】撮像パラメータの変化と画像特性の関係を示す特性図である。
【図５】被写体抽出モードの設定から切り出し画像の出力までの画像入力装置本体の基本制御手順を示すフローチャートである。
【図６】ピント制御を行った複数画像に対して画像切り出し処理を行う過程を示す図である。
【図７】画像抽出システムの一例を示す構成図である。
【図８】高速画像取り込みを行う画像処理カメラの要部構成図である。
【図９】露光量制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図１０】動画像撮影中に特定場面で被写体抽出モードで撮像する場合のカメラの要部構成図である。
【符号の説明】
１ 撮像手段の筒鏡
２ 結像光学系
３ レンズモータ駆動制御部
４ イメージセンサで典型的にはＣＣＤ
５ 撮像パラメータ計測制御手段
６ 画像記録再生手段
７ ビューファインダ（ＥＶＦなど）
８ 撮像パラメータ記録手段
９ 被写体抽出モード設定手段
１０ コマンドデータ通信制御手段
１１ 出力画像生成手段
１２ データ転送手段
１３ 切り出し画像処理手段
１４ 画像取り込み信号発生手段
１５ 複数撮像条件設定制御部
１６ 絞り
１７ 映像信号処理部
１８ センサ駆動回路
１９ ストロボ発光手段
２０ 優先撮像パラメータ設定手段
Ａ 撮像モード設定手段
Ｂ 撮像パラメータ計測制御手段
Ｃ 記録手段
Ｄ 撮像手段
Ｅ 切り出し画像処理手段
Ｆ 制御コマンド通信手段
Ｇ 画像転送手段
【発明の属する技術分野】
本発明はカメラ等の画像入力装置および画像処理装置に係わり、特に、画像切り出し機能を有する撮像システムに用いて好適なものである。
【０００２】
【従来の技術】
従来、撮像手段においては、信号処理のデジタル化に伴って映像情報の処理の自由度や加工の自由度が上がるに従って、内部での処理は輝度レベル、色調の変換、ホワイトバランス処理、量子化サイズ変換などの比較的軽易な処理からエッジ抽出機能や色成分の逐次成長法を用いた画像抽出機能（テレビジョン学会技術方向、ｖｏｌ．１８．ｐｐ．１３−１８．１９９４）を有するものなどが実現されている。
【０００３】
また、背景画像との差分に基づいて画像抽出を行う手法においては、特開平６−２５３１９７号公報では、背景画像の撮像時に平均輝度が適正となるように絞り制御手段を設定し、背景画像と同じ設定値を用いて現画像を撮像する。そして、それらの画像の差分データに基づいて物体画像の抽出を行うようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、上記撮像手段の内部に被写体抽出時に撮像モードを外部から制御するためのコマンド通信制御手段、または撮像手段内に被写体抽出用画像を撮像する際に必要な撮像パラメータの制御機能が設けられていなかったので、画像抽出に最適な撮像条件を設定することができない問題があった。
【０００５】
したがって、従来の撮像手段の場合には、画像抽出の目的のために照明条件の変化、被写体運動の有無、撮像手段自体の運動の有無など、撮影状況に応じて撮像条件を最適に設定することができなかった。
【０００６】
本発明は上述の問題点にかんがみ、被写体抽出を高速に行うことができるようにするとともに、抽出画像を高画質化するために必要な撮像条件を制御できるようにすることを第１の目的とする。
【０００７】
本発明の第２の目的は、被写体抽出のための撮像動作の特性を外部から制御できるようにするとともに、抽出された画像を遠隔地点へ転送できるようにすることである。
【０００８】
本発明の第３の目的は、被写体抽出のための撮像パラメータを外部から制御できるようにするとともに、抽出される被写体画像を遠隔地点へ転送できるようにすることである。
【０００９】
本発明の第４の目的は、被写体抽出のための撮像条件の設定とパラメータの制御を自動的に行うことができるようにすることである。
【００１０】
本発明の第５の目的は、被写体抽出時の画像入力装置の操作性を向上させるようにすることである。
【００１１】
本発明の第６の目的は、被写体抽出を精密に行うために必要な画像の前処理を画像入力装置の内部で行うことができるようにするとともに、撮像動作から抽出画像の出力までを高速に行うことができるようにすることである。
【００１２】
本発明の第７の目的は、照明条件によらず、かつ任意の背景から特定被写体の安定した画像切り出しを行うことができるようにすることである。
【００１３】
本発明の第８の目的は、照明条件の影響を受けずに高精度な被写体抽出を行うことができ、かつ抽出時の高画質化のための露光量の制御とそれに基づく画像切り出しを行うことができるようにすることである。
【００１４】
本発明の第９の目的は、撮像時の照明条件、被写体距離に応じて切り出し画像の高画質化と処理の高速化のために適切な撮像パラメータを選択的に制御できるようにすることである。
【００１５】
本発明の第１０の目的は、複数撮像条件での撮像動作において安定した画像の切り出しを高速に行うことができるようにすることである。
【００１６】
本発明の第１１の目的は、切り出し画像が静止画か動画かに応じた適切な画像圧縮を自動的に選択できるようにすることである。
【００１７】
本発明の第１２の目的は、被写体が動体であるか否かにかかわらず、または撮像手段と被写体との間に相対的な運動があるか否かにかわらず安定した画像切り出しを行うことができるようにすることである。
【００１８】
本発明の第１３の目的は、外部端末などからの通信手段を介した制御や複雑なマニュアル操作を行うことなく被写体抽出用の撮像動作を適切に行うことができるようにすることである。
【００１９】
【課題を解決するための手段】
本発明の画像入力装置は、被写体抽出用の撮像を行うための撮像手段と、上記撮像手段が被写体抽出するための撮像モードを設定する撮像モード設定手段と、上記撮像モード設定手段によって設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段とを具備することを特徴としている。
【００２０】
また、本発明の他の特徴とするところは、被写体抽出用の撮像を行うための撮像手段と、予め設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段と、上記撮像手段が複数の撮像条件で撮像して生成した画像に所定の処理を施して画像の切り出しを行う切り出し画像処理手段と、上記撮像手段の撮像動作を制御する制御コマンドに関する通信を行う制御コマンド通信手段と、上記撮像手段により生成された画像データを外部に転送するための画像転送手段とを具備することを特徴としている。
【００２１】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記制御コマンド通信手段から与えられる制御コマンドに基づいて上記撮像パラメータを制御することを特徴としている。
【００２２】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は撮像モード設定ボタンを有し、上記撮像モード設定ボタンが操作されることにより撮像モードの設定動作を開始し、上記撮像パラメータ計測制御手段は撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしている。
【００２３】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴としている。
【００２４】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段を具備し、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うことを特徴としている。
【００２５】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備している。
【００２６】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴としている。
【００２７】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像パラメータの優先順位を設定可能であることを特徴としている。
【００２８】
また、本発明のその他の特徴とするところは、上記画像記録手段は、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段および画像転送手段を有することを特徴としている。
【００２９】
また、本発明のその他の特徴とするところは、上記画像記録手段は、動画または静止画対応の画像圧縮符号化手段を有し、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変であることを特徴としている。
【００３０】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、時系列画像から画像切り出しを行う画像切り出し処理部と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段とを有することを特徴としている。
【００３１】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作することを特徴としている。
【００３２】
【作用】
本発明は上記技術手段よりなるので、本出願に係わる第１の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することが可能となり、また撮像条件の制御により抽出画像の画質を最適化することが可能となる。
【００３３】
本出願に係わる第２の発明によれば、撮像開始コマンドの投入、モードロック、画像取り込みのトリガーとなる画像の特徴量などを外部から制御可能となるので、遠隔操作による特定被写体の画像を抽出することができ、かつ上記抽出した画像を遠隔地点へ転送可能とすることが可能となる。
【００３４】
本出願に係わる第３の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能となる。
【００３５】
本出願に係わる第４の発明によれば、撮像パラメータのマニュアル設定を行うことなく被写体抽出用の撮像モードを自動的に設定することが可能となる。
【００３６】
本出願に係わる第５の発明によれば、撮像条件が異なる複数画像から特定被写体の抽出用の撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作が不要となり、操作性を向上させることができるようになる。
【００３７】
本出願に係わる第６の発明によれば、比較データ生成手段により生成される比較データおよび制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理が行われるので、撮像条件を制御して特定被写体画像を切り出す処理に必要な初期データを高速に算出することができるようになる。
【００３８】
本出願に係わる第７の発明によれば、解像度（ピント）を適切に制御した複数画像から特定被写体画像を高速に抽出することが可能となり、また環境や照明条件の変動に影響されることが少なくて安定した被写体抽出を行うことが可能となる。
【００３９】
本出願に係わる第８の発明によれば、画像フレーム全体または特定領域での露光条件を適切に制御して、特定被写体画像を高速に、かつ安定的に抽出することができるようになる。
【００４０】
本出願に係わる第９の発明によれば、撮像パラメータの優先順位が設定可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定することが可能となる。
【００４１】
本出願に係わる第１０の発明によれば、信号処理を施されない映像信号を画像記録手段が記憶しているので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことが可能となる。
【００４２】
本出願に係わる第１１の発明によれば、動画または静止画対応の画像圧縮符号化手段が設けられており、かつ被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変ので、静止画または動画での画像切り出しを行うことが可能となるとともに、抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を選択することが可能となる。
【００４３】
本出願に係わる第１２の発明によれば、動画での特定被写体の安定した切り出しが可能となる。
【００４４】
本出願に係わる第１３の発明によれば、外部端末からのオンライン操作なしでも被写体抽出を行うために必要な基本撮像動作を適切に行うことができるようになる。
【００４５】
【発明の実施の形態】
以下、本発明の画像入力装置、画像処理装置の実施形態を図面を参照して説明する。
図１は、本発明の画像入力装置の要部構成を示す機能構成図である。図１において、Ａは撮像モード設定手段、Ｂは撮像パラメータ計測制御手段、Ｃは記録手段、Ｄは撮像手段、Ｅは切り出し画像処理手段、Ｆは制御コマンド通信手段、Ｇは画像転送手段である。
【００４６】
上記撮像モード設定手段Ａは、上記撮像手段Ｄが被写体抽出するための撮像モードを設定する。また、上記撮像モード設定手段Ａは、撮像モード設定ボタン（図示せず）を有し、上記撮像モード設定ボタンが操作されると撮像モードの設定動作を開始する。また、上記撮像モード設定手段Ａは、上記撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動的に復帰するようになっている。
【００４７】
上記撮像パラメータ計測制御手段Ｂは、上記撮像モード設定手段Ａによって設定された撮像モードに基づく撮像パラメータの計測制御を行う。また、予め設定された撮像モードに基づいて撮像パラメータの計測制御を行うこともある。さらに、上記制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて撮像パラメータを制御することもある。また、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するとともに、撮像パラメータの優先順位を設定可能である。
【００４８】
そして、上記撮像パラメータ計測制御手段Ｂは、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作するようになっている。
さらに、上記撮像パラメータ計測制御手段Ｂは、上記撮像モード設定手段Ａからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段（いずれも図示せず）を具備している。
【００４９】
また、上記取り込み信号発生手段は、上記撮像モード設定手段Ａからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する。
【００５０】
上記記録手段Ｃは、上記撮像パラメータおよび画像を記録するために設けられているものである。また、上記画像記録手段Ｃは、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段Ｃおよび画像転送手段Ｇを有している。上記画像記録手段Ｃは、動画または静止画対応の画像圧縮符号化手段（図示せず）を有していて、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法を可変できるようになっている。
【００５１】
上記撮像手段Ｄは、被写体抽出用の撮像を行うために設けられているものである。
【００５２】
上記切り出し画像処理手段Ｅは、上記撮像手段Ｄにより複数の撮像条件で得られた画像に所定の処理を施して画像の切り出しを行う。また、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段（図示せず）を具備しており、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて切り出し画像の処理を行う。
【００５３】
さらに、上記切り出し画像処理手段Ｅは、時系列画像から画像切り出しを行う画像切り出し処理部（図示せず）と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段（図示せず）とを有している。
【００５４】
上記制御コマンド通信手段Ｆは、上記撮像手段Ｄの撮像動作を制御する制御コマンドに関する通信を行うものである。
上記画像転送手段Ｇは、上記撮像手段Ｄにより生成された画像データを外部に転送するためのものである。
【００５５】
上述のように、構成された画像入力装置によれば、上記撮像手段Ｄが特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【００５６】
また、本発明の他の特徴によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【００５７】
また、本発明その他の特徴によれば、制御コマンド通信手段Ｆを介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【００５８】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａに撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始するようにして、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定する。これにより、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【００５９】
また、本発明その他の特徴によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を向上させることができる。
【００６０】
また、本発明その他の特徴によれば、上記比較データ生成手段により生成される比較データおよび制御コマンド通信手段Ｆから与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【００６１】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度（ピント）制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【００６２】
また、本発明その他の特徴によれば、上記撮像モード設定手段Ａからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段（図示せず）を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【００６３】
また、本発明その他の特徴によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を図ることができる。
【００６４】
また、本発明その他の特徴によれば、信号処理が施されない映像信号を画像記録手段Ｃに記憶するようにしたので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御のもとで高速撮像動作を行うことができる。これにより、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるとともに、画質の安定化を図ることができる。
【００６５】
また、本発明その他の特徴によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【００６６】
また、本発明その他の特徴によれば、被写体動作の有無、カメラワーク（パンニング、スキャンニングなど）の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での選択的切り出しを行うことができる。
【００６７】
また、本発明その他の特徴によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、上記撮像パラメータ計測制御手段Ｂを動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができる。また、被写体抽出に必要な基本撮像動作を適切に行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【００６８】
次に、本発明の画像入力装置のより具体的な構成および動作を実施形態に基づいて詳細に説明する。
まず、第１の実施形態について説明する。
本実施形態ではピント状態を制御して異なる撮像条件での画像から特定被写体抽出処理を照明条件などによらず安定的かつ高速に行う。
【００６９】
図２は、特定被写体の抽出用の撮像モードと抽出処理機構を有する画像処理カメラの要部構成図である。なお、被写体抽出の撮像モードとは、撮像パラメータ（レンズ配置、シャッタ速度、絞り口径など）を制御して複数の画像データをイメージセンサから画像記録（記憶）手段に出力するまでの撮像動作モードを表している。
【００７０】
図２において、１は画像入力手段である撮像手段全体（カメラヘッダ）、２は結像光学系、３はレンズモータ駆動制御部であり、合焦レンズ駆動手段（フォーカスモータ）、ズームレンズ駆動手段、およびマウントされたレンズの種別等のレンズ情報読み出し（計測）手段などから構成される。
【００７１】
４はイメージセンサで典型的にはＣＣＤなどの固体撮像素子、５は撮像パラメータ計測制御手段であり、ズーム検出制御手段５１、焦点信号（合焦状態）検出制御手段５２（合焦状態検出部５２ａ、フォーカス制御部５２ｂ）、シャッタ速度検出制御手段５３、絞り計測制御手段５４、などを備えている。
【００７２】
上記シャッタ速度制御手段５３は、不図示の機械的シャッタの制御を行うもので、電子シャッタを用いる場合は後述するセンサ駆動回路１８で実質的なシャッタ速度（電荷蓄積時間）を制御して行う。合焦状態の検出は映像信号を用いた検出方式、赤外線を用いた測距方式のいずれでもよい。
【００７３】
６は画像記録再生手段であり、撮像時には記録媒体（テープ媒体、光（磁気）ディスク媒体、或いはＩＣメモリカード等のＩＣメモリ媒体など）に所定のフォーマットでデジタル記録する。
【００７４】
なお、記録媒体または画像記録再生手段６は、カメラ本体と着脱可能としてもよい。また、記録媒体には被写体抽出モードでの撮像動作手順プログラムおよび必要データなどを書き込んでおき、その情報に基づいて映像を行うように制御してもよい。
【００７５】
画像の再生時は、ビューファインダ（ＥＶＦなど）７または後述するデータ転送手段１２に画像データを出力する。８は撮像パラメータ記録手段であり、レンズモータ駆動手段３からのレンズ情報、撮像パラメータ、画像信号特性パラメータおよびストロボ発光の有無、スキャンニングなどの意図的なカメラ操作（運動）、手ぶれの有無などを含む撮像時の情報を記録する。
【００７６】
特に、カメラ操作（スキャン、パンなど）については映像信号処理により検出してもよいし、撮像手段に不図示の加速度センサ、或いはジャイロ等を内蔵させ、その出力データから判定してもよい。
【００７７】
９は被写体抽出のための被写体抽出モード設定手段としてのスイッチであり、これが設定されるとスイッチの投入に続く不図示のシャッタボタン等からの撮像開始動作信号により、被写体抽出用の撮像モードによる画像取り込みが行われる。
【００７８】
なお、撮像開始用スイッチは被写体抽出モード設定スイッチを兼ねるように構成してもよい。１０は外部からのコマンドデータ通信制御手段、１１は出力画像生成手段で、出力先に応じてアナログ／デジタル画像信号を生成する。
【００７９】
例えば、ＴＶ受像機にはＮＴＳＣ信号またはＰＡＬ信号を生成する。さらに、出力機器に応じた濃淡の階調補正、誤差拡散処理、色成分補正処理を行った画像信号をディスプレイ、プリンタなどに出力してもよい。
【００８０】
このような出力信号の生成、加工の指示はコマンドデータ通信制御手段１０を介して外部から行うか、またはカメラの不図示の操作パネル上スイッチなどを用いて行えるものとする。
【００８１】
１２はデータ転送手段であり、不図示の通信インターフェイス手段、アダプター端子などを含む、外部の表示装置やコンピュータなどに画像データなどを出力するときに用いる。
１３は被写体切り出し用画像処理手段で、複数の撮像条件で得られる画像を後述する方法により処理して画像の切り出しを行う。
【００８２】
１４は画像取り込み信号発生手段であり、露光条件、撮像条件の制御状態のチェック、イメージセンサ（ＣＣＤ）での電荷蓄積・転送時間、およびメモリでの画像の書き込み制御手段のタイミングなどを考慮して、適切な撮像の取り込みを行うためのものである。
【００８３】
１５は複数撮像条件の設定手段としてのシステム制御部であり、コマンドデータ通信制御手段１０、被写体抽出モード設定スイッチ９からの信号、或いは画像記録再生手段６の記録媒体に書き込まれた制御プログラムの情報を読み込むことにより被写体抽出モードでの一連の撮像動作用制御信号を発生する。
【００８４】
１６は絞り、１７は映像信号処理部であり、前処理回路（１７ａ：サンプルアンドホールド回路、オートゲインコントロール回路、Ａ／Ｄ変換回路など）、ガンマ補正制御回路１７ｂ、その他の映像信号処理回路（１７ｃ：ホワイトバランス補正回路、手ぶれ補正回路等を含む）から構成される。なお、これらの回路構成は図２に概略的に図示したものに限定されるものではない。
【００８５】
１８はセンサ駆動回路であり、上記イメージセンサ４を駆動して電荷蓄積時間、転送タイミングなどを制御する。なお、図２においては、本実施形態に特に関係した制御信号の流れを矢印で示してある。
【００８６】
本実施形態では、被写体抽出用撮像モードにおいては合焦レベル検出手段からの出力に基づいて、合焦用レンズモータ（フォーカスモータ）を駆動し、最適合焦レベル、すなわち、被写体に最もピントの合った状態において、イメージセンサから高解像画像の取り込みを行う。
【００８７】
その後、続いて直前の合焦レンズモータの駆動方向と同一方向にピントずれが生じるように駆動し、適切な非合焦レベルでの低解像画像の取り込みを連続的に行う。ここで、適切な非合焦レベルとは予め設定され、記憶手段に記録された値、または外部の端末などからのコマンド信号により設定された値のことであり、例えば合焦レベルからの割合（合焦値の９割のような数値）などで与えられる。また、更に異なる非合焦レベルで撮像し、画像切り出しの初期データ抽出（粗く切り出された画像データ）のために用いてもよい。
【００８８】
以上にような連続撮像動作が終了すると、自動的に被写体抽出モードが解除されるか、或いは被写体抽出モード設定スイッチ９により、標準モードへの復帰設定がなされる。なお、上述した撮像モードの設定および解除等の操作は不図示の端末からのコマンド入力により行ってもよい。
【００８９】
図３は、外部装置からの制御コマンドを受けずに基本的にカメラ上のスイッチ操作等で行う場合、ピント状態の異なる複数画像を撮像して画像切り出し処理を行うまでの基本処理フローである。
【００９０】
図３にしたように、処理が開始されると、先ず、電源が投入されてカメラがスタンバイ状態に設定される（ステップＳ５ａ）。次に、被写体抽出撮像モードに設定され、撮像条件データの読み込みが行われる（ステップＳ５ｂ）。これは、複数撮像条件設定制御手段１５に内蔵されている撮像条件制御のための標準パラメータ値（例えば、非合焦レベルの範囲、切り出し処理のための撮像枚数、など）、或いは基本制御プログラムなどを読み出す処理である。
【００９１】
次に、ステップＳ５ｃに進んで、レンズ情報検出、撮像パラメータ記憶手段に記録する処理を行う。これは、レンズ情報等マウントされた結像光学系のスペック、種別をレンズモータ駆動手段３により検出する処理である。この情報は、ピント制御時にフォーカスモータの駆動量を適切に制御するか、或いは以前に用いられた撮像条件と同一に設定する際に、光学系の種別に応じた設定の高速化を可能とする目的で用いられる。
【００９２】
その後、通常の撮像モードと同様に倍率設定し（ステップＳ５ｄ）、測光と（自動）露出条件の設定を行う（ステップＳ５ｅ）。次に、被写体に対して最適合焦レベルになるまでフォーカスモータを駆動して焦点信号評価を行う（ステップＳ５ｆ）。その後、ステップＳ５ｇに進んで山登り法などに基づいて合焦判断し、被写体にピントの合った画像を撮像する（ステップＳ５ｈ）。
【００９３】
次に、フォーカスモータを同一方向に所定幅駆動して、焦点信号レベルを評価し（ステップＳ５ｉ）、予め設定した許容範囲内の非合焦レベルであるか否かを判断し（ステップＳ５ｊ）、上記許容範囲内の非合焦レベルであれば、ステップＳ５ｋに進んで撮像を行う。
【００９４】
その後、ステップＳ５ｌに進んで撮像枚数をチェックし、予め設定された最大枚数になるまでピント制御と撮像動作を繰り返す。
また、ステップＳ５ｊの判定の結果、許容範囲内でない場合には、ステップＳ５ｉ’に進み、レンズ駆動方向逆転、駆動幅縮小の処理を行い、その後、ステップＳ５ｉに戻って上述した動作を繰り返し行う。
以下、焦点信号レベルの差が小さい複数画像間で差分画像データの抽出（ステップＳ５ｍ）を行い、画像切り出し処理（ステップＳ５ｎ）を行う。
【００９５】
図４（ａ）は、ピント制御による複数撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示した図である。
図４（ａ）から明らかなように、初期位置からフォーカスレンズを駆動して一旦合焦レベルを検知して撮影した後、所定量フォーカスレベルを駆動して許容範囲内でのピントずれ画像を取り込むことを示している。
【００９６】
図５は、カメラ本体の基本制御手順を示すフローチャートである。上述のように、被写体抽出のための撮像モード設定の仕方は、カメラ本体上での操作による設定（ステップＳ６ａ）、被写体抽出のためのプログラムを内蔵した記録媒体装填による設定（ステップＳ６ｂ）、外部端末などからのコマンドデータ受信による設定（ステップＳ６ｃ）の３通りである。
【００９７】
前２者では、基本制御プログラムを作動し（ステップＳ６ｄ）、コマンドデータ受信による場合では更に制御すべき撮像パラメータ、撮像条件の制御量、撮像枚数、およびカメラ内部での処理範囲（例えば、切り出し処理のための差分データ算出などの前処理、複数撮像条件での撮影のみなどのように指定される）などを設定する（ステップＳ６ｅ）。
【００９８】
なお、基本制御プログラムには、これらの条件が予め標準的に設定されているものとする。複数の撮像条件による撮像時（ステップＳ６ｆ）には、設定されたパラメータに基づく撮像条件の制御（フォーカス制御、ガンマ補正制御）とその時の撮像パラメータ（レンズデータ、焦点距離、倍率、焦点信号、フォーカスレンズ配置、ガンマ制御値、絞り径、電荷蓄積時間など）の記録が行われる。
【００９９】
その後の動作手順は、カメラ内部での処理範囲に応じて、３通りの制御フローに分岐する。
すなわち、第１の動作は標準モードに自動復帰する（ステップＳ６ｊ）ことである。また、第２の動作は、被写体抽出モードでの撮像動作終了後は切り出し条件入力を受ける（ステップＳ６ｇ）ことであり、第３の動作は、予め設定された標準条件で切り出し処理（ステップＳ６ｈ：後述）を行うことである。
【０１００】
処理終了後は、切り出し画像をカメラ本体内の記憶手段に記録するか、外部メモリまたは表示装置へ転送する（ステップＳ６ｉ）か、或いはファインダやディスプレイ等のモニタに表示（ステップＳ６ｉ′）してもよい。以上の処理の終了後、標準撮像モードへの自動または手動による復帰（ステップＳ６ｊ）が行われる。
【０１０１】
以下に、上記イメージセンサ４から取り込まれた各画像の処理過程について詳述する。
合焦状態（ピント）を制御して得られる少なくとも２つのセンサからの映像信号に対して、それぞれ映像信号処理手段１７ｃにおいてガンマ補正、ホワイトバランス補正などを行う。
【０１０２】
そして、撮像手段内部の切り出し画像処理手段１３においては、高解像画像（合焦画像）と低解像画像（非合焦画像）との差分、または２つの異なる低解像度画像間の差分データを求め、これらに対して平滑化、２値化、細線化の処理を行う。
【０１０３】
なお、差分以外の処理は、不図示の外部端末などからコマンドデータ通信制御手段１０を介して適切な処理パラメータを入力して行ってもよい。非合焦度の異なる低解像度の複数画像を用いる場合には、空間周波数の高い成分がカットされ、それらの差分データから特定対象の輪郭線を抽出する際、余分な孤立特徴点または孤立領域の影響を抑制することができる。
【０１０４】
したがって、ノイズや背景部の高い空間周波数成分、或いは照明条件に左右されずに精度の安定した初期データ（輪郭線）を得ることができる。なお、差分によって負となる画素の出力値はゼロに設定するか、または、各画素での差分の絶対値を出力してもよい。
【０１０５】
次に、後続する初期データ（輪郭線）抽出処理について説明する。
この処理は、カメラと接続した端末においても行うことができるものとするが、カメラ内部での演算手段による処理については標準処理モードとして登録しておくか、コマンドデータ通信制御手段１０を介して端末などから指定することができるようになっている。
【０１０６】
典型的には、カメラ内部での標準処理としては複数撮像条件の画像間の差分算出および２値化処理または差分算出および平滑化処理などのように基本制御プログラムに設定される。
【０１０７】
撮像条件制御により得られる画像間の比較（差分）データ算出後の平滑化処理は孤立特徴（不定形の同一輝度または色を有する局所領域、ラインセグメントなど）の除去およびガウシアンフィルタ等との畳み込み演算、或いは一般的なローパスフィルタ処理などを行う。
【０１０８】
その後の２値化処理の閾値の設定は大津の方法（電子情報通信学会論文誌、ｖｏｌ．Ｊ６３，ｐｐ．３４９−３５６，１９８０）、或いは画像を適切なサイズのブロックに分類した後に、局所的な画像データ（輝度、色など）の統計処理（平均、分散値、ヒストグラムからの仮説検定など）に基づいて設定する方法などを用いればよい。
【０１０９】
図６は、以上に説明した処理方法を適用した画像データの処理経過を示したものである。図６において（１）はピントの合った画像、（２）はピントずれを起こした場合の画像を模式的に強調した図である。
【０１１０】
また、（３）はユーザが（１）の画像を表示手段上で確認しながら抽出被写体内の一点を指示した場合に設定された局所領域を示している。（４）は（１）と（２）の差分画像データから局所領域内において平滑化、２値化、細線化を行った画像を示している。また、（５）は輪郭線追跡処理を行った結果得られる初期輪郭線内の画像の一例を示す図である。
【０１１１】
なお、図示はしないが、差分画像データを求める際には、上述したように合焦度が異なり、かついずれもピントずれのある画像２枚を用いてもよい。本実施形態では、図７に示す構成を用いて画像処理カメラ１の撮像および画像処理動作を端末２１から制御してもよい。
【０１１２】
以下、図７を参照して、演算手段２１としてのコンピュータ端末、表示手段２２（第１の表示装置２２ａ、第２の表示装置２２ｂ）、指示手段（マウス）２３、データ通信ネットワーク手段２４（バスコントロール手段などを含む）を具備した系での画像抽出処理手順について説明する。
【０１１３】
ここでは、マウス２３などで設定した指定点を中心とする一定サイズの局所領域（または、マウス２３などで任意の形状に設定した領域）に対して統計処理に基づいて２値化閾値を設定し、２値化および細線化、輪郭線追跡処理をその領域内で行ってもよい。処理終了後は、その端点を中心とする局所領域を自動設定し同様の処理を繰り返す。この中で、細線化は太い初期輪郭線中の代表点を得るための処理であり、従来の画像処理で行われる方式に限定されるものではない。
【０１１４】
例えば、粗い初期輪郭中の任意の一点から左右上下いずれかの方向に端点を探索し、次にその点に隣接する端点を探索して代表点としてもよい。なお、細線化により近傍領域内で複数のエッジまたは輪郭線が存在する場合には、それらをディスプレイに入力画像と重ね合わせて表示し、いずれのエッジをとるかをマウスなどの手段を用いて選択指示することを可能としてもよい。
【０１１５】
近傍領域内に単一のエッジのみ存在するか、或いはユーザによりエッジが選択されると予め設定された方向に輪郭線追跡処理が行われ、そのエッジに連結する細線化像の各点を初期輪郭線のサンプリング点としてそれぞれの位置を逐次記録する。
【０１１６】
なお、細線化像が分岐構造を有する場合の分岐方向の選択方法としては、分岐前の点の追跡方向と直交方向の輪郭線の画像データ属性（色、輝度またはそれらの分散など）が連続する分岐方向、分岐前後の方向変化が少ない方向を優先して選択する。
【０１１７】
この場合には、分岐後の各点を中心とする微小領域の画像属性を検出して行う。他の方法としては輪郭追跡を中断し、分岐点を中心とする領域を点滅表示するなどして、いずれの分岐をとるかをユーザに選択させてもよい。
【０１１８】
また、２値化、細線化処理により輪郭線が途中で分断された場合にはエッジの接続処理を行う。この場合、所定のアルゴリズム（第２３回画像工学コンファレンス論文集、ｐｐ．６７−７０，１９９２ など参照）により接続を自動的に行うか、或いは輪郭追跡の結果として残存する端点に対して表示手段上で点滅表示する。
【０１１９】
または、他の輪郭線と異なる色表示を行うなど端点であることを明示するように表示を行い、ユーザがそれを確認して接続すべき端点を指示選択手段２３を用いて指示することにより接続してもよい。
【０１２０】
接続点同士を結ぶ輪郭線としては、直線または輪郭線上の代表点を用いてスプライン補間曲線などを生成してもよい。特に、輪郭追跡後の端点が画像フレーム上にある場合は他のフレーム上端点とを結んでもよい。
【０１２１】
以上のようにして、閉じた輪郭線とその内側の画像データを抽出した後、統計的処理などによる背景領域の除去処理、領域成長法、或いは動的輪郭処理法などを適用して更に精密な画像抽出を行ってもよい。
【０１２２】
次に、本発明の画像入力装置の第２の実施形態を説明する。
本実施形態では、切り出し画像処理手段１３において合焦状態を連続的に制御して得られる３つ以上の複数画像間の差分データ（複数ある）の平均化処理を行い、その結果に対して切り出すべき画像の初期輪郭線抽出処理（平滑化、２値化、細線化処理など）を行う。
【０１２３】
このためには、合焦状態検出手段からの出力に基づいて、レベルモータを高速駆動して最適合焦値を含む前半（前ピン）または後半（後ピン）、或いは前ピン、後ピン両方を含む静止画像を少なくとも３枚、所定の時間間隔で連続撮像し、画像記憶手段６に保持する。典型的には、合焦検出による画像取り込み後、複数の非合焦画像を所定枚数だけ連続撮影する。
【０１２４】
図８に、本実施形態のように比較的多数の画像を撮像条件を変えて取り込む場合のカメラ内部の構成を示す。
ここでは、イメージセンサ４からの信号は映像信号処理部を介さずに直接キャッシュメモリなどの一時記憶手段３１に高速切り替え転送手段３０により転送記録される。
【０１２５】
複数撮像条件による撮像、すなわち、一時記憶手段３１への画像書き込みが終了後は順次転送して映像信号処理と画像切り出しに必要な前処理などを行う。なお、この時に上記切り替え転送手段３０は、切り出し画像処理手段１３に直接転送するようにしてもよい。
【０１２６】
このように、センサ４からの映像信号に対して通常行われる非線形処理を施さないことにより撮像時の照明条件の変化、被写体の運動などの影響を抑止して処理精度の安定化をもたすことができる。また、映像信号処理を一連の画像取り込み後に行うことにより、撮像動作の高速化と切り出し処理の安定化、柔軟性の向上をもたらすことができる。
【０１２７】
なお、時系列的に撮像する際、直前の画像データと平均化処理により更新された差分データのみを一時的に保持してもよい。また、初期輪郭線抽出処理に使う画像の枚数を予めＮと指定すると、合焦過程においてＮ以上の画像取り込みがなされる場合は最新のＮ枚画像を保持し（古い順に消去）、しかる後に、差分データの算出と平均化処理を行ってもよい。
【０１２８】
本実施形態のように、複数の合焦状態が僅かに異なる画像間の差分データを平均化することによりノイズの影響を抑制し、精度、分解能の高い画像抽出を実現することができる。
【０１２９】
次に、本発明の第３の実施形態を説明する。
本実施形態では露光条件制御またはセンサ感度特性の制御を伴う複数撮像条件での画像からの抽出処理を行う。
【０１３０】
図９に、画像処理カメラの構成図を示す。この場合に制御される撮像パラメータとしては、絞りの径、イメージセンサのゲイン、ガンマ特性、ストロボ発光強度、ストロボ色温度（発光スペクトル）、センサ（ＣＣＤ）の電荷蓄積時間（またはシャッタ速度）などが挙げられる。なお、上記ガンマ特性は、映像信号処理回部１７に設けられたガンマ補正制御回路１７ｂにより行われる。
【０１３１】
本実施形態では、そのいずれかを映像信号処理部１７、ストロボ発光手段１９、または撮像パラメータ計測制御手段（シャッタ速度制御部５３または絞り計測制御部５４）へ制御信号を送ることにより異なる撮像条件での撮影、すなわち、通常撮像モードでの最適値から微小量制御して得られる画像とその最適条件での画像の撮像を行う。
【０１３２】
また、本実施形態ではどの撮像パラメータを優先的に制御するのかを設定するスイッチ、すなわち、優先順位を設定する優先撮像パラメータ設定手段２０を有する。例えば、上述した実施形態の（非）合焦度と露光条件、センサ感度特性などを相対的に重みを付けて制御するためにピント優先、露光条件優先などの設定スイッチを設けても良い。
【０１３３】
図７に示したシステム構成において、図９の複数撮像条件設定制御部１５は表示装置２２上に表示される画像上の一点をマウス２３等で指示すると、その点を中心とする予め設定されたサイズの領域または全画面において映像信号処理部１７に制御信号を送る。
【０１３４】
そして、通常の撮像モードで設定されるガンマ特性値での画像とその映像信号特性パラメータを各画素または局所領域で制御した（一定の幅で変更した）場合の複数の画像を取り込む、領域の形状、サイズの指定は指示手段２３により直接行ってもよい。
【０１３５】
図４（ｂ）は、輝度レベル（Ｉ１ ＞Ｉ２ ）に応じたガンマ係数の最適値（センサ信号レベルに応じて変わる）からの変化量と輝度レベルの変化量の関係を模式的に示した図である。
【０１３６】
このようにして変調することにより得られる画像間の差分データを適切な閾値で２値化、細線化するとガンマ特性の非線形性により実際の画像中の輪郭線（エッジ成分）に対応した線画像が得られる。これから、第１の実施形態に説明した方法で初期輪郭線を得る。
【０１３７】
なお、絞りの径または電荷蓄積時間の制御は背景と対象物と輝度レベルとが大きく異なる場合、蓄積電荷の非線形な飽和特性により上述した方法による輪郭線抽出が特に有効である場合がある。
【０１３８】
また、ストロボ発光特性（強度、スペクトル）を制御して撮像する際はストロボ光の被写体からの反射強度が十分ある場合（室内撮影時、被写体距離が十分小さい場合など）に有効である。
【０１３９】
次に、本発明の第４の実施形態を説明する。
本実施形態の画像処理カメラは、動画像の録画撮影を行い（手ぶれ補正のための映像信号処理が入る）ながら、被写体抽出用撮像モードスイッチが押されると前実施形態のように自動的に複数撮像条件での連続静止画の記録撮影を行う。
【０１４０】
図１０は、本実施形態の画像処理カメラの要部構成図を示している。
電源投入後、録画撮影モードに設定すると動画像の撮影と記録を行う。記録時には画像圧縮符号化部４０で動画に対してはＭＰＥＧなどによる符号化、切り出し画像に対してはＪＰＥＧなどによる静止画符号化を行ってもよい。
【０１４１】
また、切り出し画像処理手段１３により被写体の動画像が切り出される場合は、切り出された動画像を画像圧縮符号化部４０で動画対応で符号化してもよい。このような処理の切り替えは、被写体抽出モード設定スイッチのオン・オフ信号に応じて複数撮像条件設定制御部１５が画像圧縮符号化部４０に切り替え制御信号を送ることによって行われる。
【０１４２】
画像圧縮符号化部４０は、動画または連続静止画かのインデクスを画像データのヘッダ部またはヘッダファイルとして生成する。本実施形態では、被写体抽出のための被写体抽出モード設定スイッチ９が押されると、撮像条件を制御しながら高速画像取り込みが前実施形態と同様に行われ、映像信号処理部１７から出力される映像信号データを切り出し画像処理手段１３で処理し、切り出し画像を画像圧縮符号化部４０に出力して更に圧縮符号化してもよい。
【０１４３】
被写体抽出モードで得られる連続静止画に対して切り出し処理を行った結果得られる抽出画像を登録し、更にこれをテンプレート画像として用い、画像追跡手段４１で被写体画像の追跡を行い、動画で切り出し処理を行ってもよい。
このようにして動画像でアングルを変えて撮影しながら、切り出したい視点位置からの静止画像の高画質化を実現することができる。
【０１４４】
【発明の効果】
本発明は上述したように、本出願に係わる第１の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【０１４５】
本出願に係わる第２の発明によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【０１４６】
本出願に係わる第３の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【０１４７】
本出願に係わる第４の発明によれば、撮像モード設定手段に撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始して、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしたので、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【０１４８】
本出願に係わる第５の発明によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作（画像取り込み動作）終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を大幅に向上させることができる。
【０１４９】
本出願に係わる第６の発明によれば、比較データ生成手段により生成される比較データ、および制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【０１５０】
本出願に係わる第７の発明によれば、撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度（ピント）制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【０１５１】
本出願に係わる第８の発明によれば、撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【０１５２】
本出願に係わる第９の発明によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができる。これにより、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を行うことができる。
【０１５３】
本出願に係わる第１０の発明によれば、信号処理が施されない映像信号を画像記録手段に記憶したので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御の下で高速撮像動作を行うことができ、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるようにすることができるとともに、画質の安定化を図ることができる。
【０１５４】
本出願に係わる第１１の発明によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【０１５５】
本出願に係わる第１２の発明によれば、被写体動作の有無、カメラワーク（パンニング、スキャンニングなど）の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での切り出しを選択的に行うことができる。
【０１５６】
本出願に係わる第１３の発明によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、撮像パラメータ計測制御手段を動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができ、被写体抽出に適切な基本撮像動作を行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【図面の簡単な説明】
【図１】本発明の画像入力装置の要部構成を示す機能構成図である。
【図２】ピント制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図３】被写体抽出モードにおける画像入力装置内部での基本処理を示すフローチャートである。
【図４】撮像パラメータの変化と画像特性の関係を示す特性図である。
【図５】被写体抽出モードの設定から切り出し画像の出力までの画像入力装置本体の基本制御手順を示すフローチャートである。
【図６】ピント制御を行った複数画像に対して画像切り出し処理を行う過程を示す図である。
【図７】画像抽出システムの一例を示す構成図である。
【図８】高速画像取り込みを行う画像処理カメラの要部構成図である。
【図９】露光量制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図１０】動画像撮影中に特定場面で被写体抽出モードで撮像する場合のカメラの要部構成図である。
【符号の説明】
１ 撮像手段の筒鏡
２ 結像光学系
３ レンズモータ駆動制御部
４ イメージセンサで典型的にはＣＣＤ
５ 撮像パラメータ計測制御手段
６ 画像記録再生手段
７ ビューファインダ（ＥＶＦなど）
８ 撮像パラメータ記録手段
９ 被写体抽出モード設定手段
１０ コマンドデータ通信制御手段
１１ 出力画像生成手段
１２ データ転送手段
１３ 切り出し画像処理手段
１４ 画像取り込み信号発生手段
１５ 複数撮像条件設定制御部
１６ 絞り
１７ 映像信号処理部
１８ センサ駆動回路
１９ ストロボ発光手段
２０ 優先撮像パラメータ設定手段
Ａ 撮像モード設定手段
Ｂ 撮像パラメータ計測制御手段
Ｃ 記録手段
Ｄ 撮像手段
Ｅ 切り出し画像処理手段
Ｆ 制御コマンド通信手段
Ｇ 画像転送手段
Claims (16)
- 被写体抽出用の撮像を行うための撮像手段と、
上記撮像手段が被写体抽出するための撮像モードを設定する撮像モード設定手段と、
上記撮像モード設定手段によって設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、
上記撮像パラメータおよび画像を記録するための記録手段とを具備することを特徴とする画像入力装置。 - 被写体抽出用の撮像を行うための撮像手段と、
予め設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、
上記撮像パラメータおよび画像を記録するための記録手段と、
上記撮像手段が複数の撮像条件で撮像して生成した画像に所定の処理を施して画像の切り出しを行う切り出し画像処理手段と、
上記撮像手段の撮像動作を制御する制御コマンドに関する通信を行う制御コマンド通信手段と、
上記撮像手段により生成された画像データを外部に転送するための画像転送手段とを具備することを特徴とする画像処理装置。 - 上記撮像パラメータ計測制御手段は、上記制御コマンド通信手段から与えられる制御コマンドに基づいて上記撮像パラメータを制御することを特徴とする請求項２に記載の画像処理装置。
- 上記撮像モード設定手段は撮像モード設定ボタンを有し、上記撮像モード設定ボタンが操作されるを撮像モードの設定動作を開始し、上記撮像パラメータ計測制御手段は撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定することを特徴とする請求項１に記載の画像入力装置。
- 上記撮像モード設定手段は、所定の撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴とする請求項１に記載の画像入力装置。
- 上記撮像モード設定手段は、所定の撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴とする請求項４に記載の画像入力装置。
- 上記切り出し画像処理手段は、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段を具備し、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うことを特徴とする請求項２に記載の画像処理装置。
- 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項１に記載の画像入力装置。
- 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項４に記載の画像入力装置。
- 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項５に記載の画像入力装置。
- 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項１に記載の画像入力装置。
- 上記撮像モード設定手段は、撮像パラメータの優先順位を設定可能であることを特徴とする請求項１に記載の画像入力装置。
- 上記画像記録手段は、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段および画像転送手段を有することを特徴とする請求項１に記載の画像入力装置。
- 上記画像記録手段は、動画または静止画対応の画像圧縮符号化手段を有し、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変であることを特徴とする請求項１に記載の画像入力装置。
- 上記切り出し画像処理手段は、時系列画像から画像切り出しを行う画像切り出し処理部と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段とを有することを特徴とする請求項２に記載の画像処理装置。
- 上記撮像パラメータ計測制御手段は、画像入力装置本体に内蔵されている１憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作することを特徴とする請求項１に記載の画像入力装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34389695A JP3624037B2 (ja) | 1995-12-28 | 1995-12-28 | 画像入力装置および画像処理装置 |
| EP96117530A EP0774730B1 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| DE69635101T DE69635101T2 (de) | 1995-11-01 | 1996-10-31 | Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät |
| US08/742,206 US6636635B2 (en) | 1995-11-01 | 1996-10-31 | Object extraction method, and image sensing apparatus using the method |
| US10/678,255 US6993184B2 (en) | 1995-11-01 | 2003-10-06 | Object extraction method, and image sensing apparatus using the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34389695A JP3624037B2 (ja) | 1995-12-28 | 1995-12-28 | 画像入力装置および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09186931A JPH09186931A (ja) | 1997-07-15 |
| JP3624037B2 true JP3624037B2 (ja) | 2005-02-23 |
Family
ID=18365082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34389695A Expired - Fee Related JP3624037B2 (ja) | 1995-11-01 | 1995-12-28 | 画像入力装置および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3624037B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050090804A (ko) * | 2004-03-10 | 2005-09-14 | 삼성전자주식회사 | 복합촬영장치 및 그것을 이용한 ｄｓｃ 렌즈 제어방법 |
| JP2009094662A (ja) * | 2007-10-05 | 2009-04-30 | Hitachi Ltd | 固体撮像装置 |
| JP6214236B2 (ja) | 2013-03-05 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
-
1995
- 1995-12-28 JP JP34389695A patent/JP3624037B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09186931A (ja) | 1997-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7453506B2 (en) | Digital camera having a specified portion preview section | |
| JP3541820B2 (ja) | 撮像装置及び撮像方法 | |
| US7176962B2 (en) | Digital camera and digital processing system for correcting motion blur using spatial frequency | |
| US20040061796A1 (en) | Image capturing apparatus | |
| US20010035910A1 (en) | Digital camera | |
| US20020114015A1 (en) | Apparatus and method for controlling optical system | |
| JPH09243904A (ja) | 画像の構図変化検出方法 | |
| JP2001169160A (ja) | デジタルカメラおよびデジタルカメラにおける画像表示方法 | |
| JP3624037B2 (ja) | 画像入力装置および画像処理装置 | |
| JP3555583B2 (ja) | 光学系制御装置、光学系制御方法、記録媒体および撮像装置 | |
| JP3564050B2 (ja) | カメラ、焦点調節装置、焦点調節方法、焦点調節プログラムを供給する媒体 | |
| JP3903048B2 (ja) | 画像抽出方法 | |
| JP3252001B2 (ja) | 自動焦点調節装置 | |
| JP4888829B2 (ja) | 動画処理装置、動画撮影装置および動画撮影プログラム | |
| JPH09327037A (ja) | 輪郭抽出方法及び画像抽出方法及び装置 | |
| JP2001086385A (ja) | 電子カメラ | |
| JP4196466B2 (ja) | デジタルカメラ | |
| JP2001211354A (ja) | 電子カメラ | |
| JP3116422B2 (ja) | カメラ制御装置 | |
| US20020051072A1 (en) | Image taking apparatus | |
| JP2001136429A (ja) | 電子カメラ | |
| JPH11224324A (ja) | 画像信号処理方法及び装置 | |
| JP2001148804A (ja) | 電子スチルカメラ | |
| JP2007060577A (ja) | 撮像装置 | |
| JP2947037B2 (ja) | ビデオカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131203 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |