JP3624037B2 - 画像入力装置および画像処理装置 - Google Patents

画像入力装置および画像処理装置 Download PDF

Info

Publication number
JP3624037B2
JP3624037B2 JP34389695A JP34389695A JP3624037B2 JP 3624037 B2 JP3624037 B2 JP 3624037B2 JP 34389695 A JP34389695 A JP 34389695A JP 34389695 A JP34389695 A JP 34389695A JP 3624037 B2 JP3624037 B2 JP 3624037B2
Authority
JP
Japan
Prior art keywords
image
imaging
imaging mode
control
mode setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34389695A
Other languages
English (en)
Other versions
JPH09186931A (ja
Inventor
優和 真継
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP34389695A priority Critical patent/JP3624037B2/ja
Priority to US08/742,206 priority patent/US6636635B2/en
Priority to DE69635101T priority patent/DE69635101T2/de
Priority to EP96117530A priority patent/EP0774730B1/en
Publication of JPH09186931A publication Critical patent/JPH09186931A/ja
Priority to US10/678,255 priority patent/US6993184B2/en
Application granted granted Critical
Publication of JP3624037B2 publication Critical patent/JP3624037B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はカメラ等の画像入力装置および画像処理装置に係わり、特に、画像切り出し機能を有する撮像システムに用いて好適なものである。
【0002】
【従来の技術】
従来、撮像手段においては、信号処理のデジタル化に伴って映像情報の処理の自由度や加工の自由度が上がるに従って、内部での処理は輝度レベル、色調の変換、ホワイトバランス処理、量子化サイズ変換などの比較的軽易な処理からエッジ抽出機能や色成分の逐次成長法を用いた画像抽出機能(テレビジョン学会技術方向、vol.18.pp.13−18.1994)を有するものなどが実現されている。
【0003】
また、背景画像との差分に基づいて画像抽出を行う手法においては、特開平6−253197号公報では、背景画像の撮像時に平均輝度が適正となるように絞り制御手段を設定し、背景画像と同じ設定値を用いて現画像を撮像する。そして、それらの画像の差分データに基づいて物体画像の抽出を行うようにしている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した従来例では、上記撮像手段の内部に被写体抽出時に撮像モードを外部から制御するためのコマンド通信制御手段、または撮像手段内に被写体抽出用画像を撮像する際に必要な撮像パラメータの制御機能が設けられていなかったので、画像抽出に最適な撮像条件を設定することができない問題があった。
【0005】
したがって、従来の撮像手段の場合には、画像抽出の目的のために照明条件の変化、被写体運動の有無、撮像手段自体の運動の有無など、撮影状況に応じて撮像条件を最適に設定することができなかった。
【0006】
本発明は上述の問題点にかんがみ、被写体抽出を高速に行うことができるようにするとともに、抽出画像を高画質化するために必要な撮像条件を制御できるようにすることを第1の目的とする。
【0007】
本発明の第2の目的は、被写体抽出のための撮像動作の特性を外部から制御できるようにするとともに、抽出された画像を遠隔地点へ転送できるようにすることである。
【0008】
本発明の第3の目的は、被写体抽出のための撮像パラメータを外部から制御できるようにするとともに、抽出される被写体画像を遠隔地点へ転送できるようにすることである。
【0009】
本発明の第4の目的は、被写体抽出のための撮像条件の設定とパラメータの制御を自動的に行うことができるようにすることである。
【0010】
本発明の第5の目的は、被写体抽出時の画像入力装置の操作性を向上させるようにすることである。
【0011】
本発明の第6の目的は、被写体抽出を精密に行うために必要な画像の前処理を画像入力装置の内部で行うことができるようにするとともに、撮像動作から抽出画像の出力までを高速に行うことができるようにすることである。
【0012】
本発明の第7の目的は、照明条件によらず、かつ任意の背景から特定被写体の安定した画像切り出しを行うことができるようにすることである。
【0013】
本発明の第8の目的は、照明条件の影響を受けずに高精度な被写体抽出を行うことができ、かつ抽出時の高画質化のための露光量の制御とそれに基づく画像切り出しを行うことができるようにすることである。
【0014】
本発明の第9の目的は、撮像時の照明条件、被写体距離に応じて切り出し画像の高画質化と処理の高速化のために適切な撮像パラメータを選択的に制御できるようにすることである。
【0015】
本発明の第10の目的は、複数撮像条件での撮像動作において安定した画像の切り出しを高速に行うことができるようにすることである。
【0016】
本発明の第11の目的は、切り出し画像が静止画か動画かに応じた適切な画像圧縮を自動的に選択できるようにすることである。
【0017】
本発明の第12の目的は、被写体が動体であるか否かにかかわらず、または撮像手段と被写体との間に相対的な運動があるか否かにかわらず安定した画像切り出しを行うことができるようにすることである。
【0018】
本発明の第13の目的は、外部端末などからの通信手段を介した制御や複雑なマニュアル操作を行うことなく被写体抽出用の撮像動作を適切に行うことができるようにすることである。
【0019】
【課題を解決するための手段】
本発明の画像入力装置は、被写体抽出用の撮像を行うための撮像手段と、上記撮像手段が被写体抽出するための撮像モードを設定する撮像モード設定手段と、上記撮像モード設定手段によって設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段とを具備することを特徴としている。
【0020】
また、本発明の他の特徴とするところは、被写体抽出用の撮像を行うための撮像手段と、予め設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、上記撮像パラメータおよび画像を記録するための記録手段と、上記撮像手段が複数の撮像条件で撮像して生成した画像に所定の処理を施して画像の切り出しを行う切り出し画像処理手段と、上記撮像手段の撮像動作を制御する制御コマンドに関する通信を行う制御コマンド通信手段と、上記撮像手段により生成された画像データを外部に転送するための画像転送手段とを具備することを特徴としている。
【0021】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記制御コマンド通信手段から与えられる制御コマンドに基づいて上記撮像パラメータを制御することを特徴としている。
【0022】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は撮像モード設定ボタンを有し、上記撮像モード設定ボタンが操作されることにより撮像モードの設定動作を開始し、上記撮像パラメータ計測制御手段は撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしている。
【0023】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴としている。
【0024】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段を具備し、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うことを特徴としている。
【0025】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備している。
【0026】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴としている。
【0027】
また、本発明のその他の特徴とするところは、上記撮像モード設定手段は、撮像パラメータの優先順位を設定可能であることを特徴としている。
【0028】
また、本発明のその他の特徴とするところは、上記画像記録手段は、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段および画像転送手段を有することを特徴としている。
【0029】
また、本発明のその他の特徴とするところは、上記画像記録手段は、動画または静止画対応の画像圧縮符号化手段を有し、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変であることを特徴としている。
【0030】
また、本発明のその他の特徴とするところは、上記切り出し画像処理手段は、時系列画像から画像切り出しを行う画像切り出し処理部と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段とを有することを特徴としている。
【0031】
また、本発明のその他の特徴とするところは、上記撮像パラメータ計測制御手段は、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作することを特徴としている。
【0032】
【作用】
本発明は上記技術手段よりなるので、本出願に係わる第1の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することが可能となり、また撮像条件の制御により抽出画像の画質を最適化することが可能となる。
【0033】
本出願に係わる第2の発明によれば、撮像開始コマンドの投入、モードロック、画像取り込みのトリガーとなる画像の特徴量などを外部から制御可能となるので、遠隔操作による特定被写体の画像を抽出することができ、かつ上記抽出した画像を遠隔地点へ転送可能とすることが可能となる。
【0034】
本出願に係わる第3の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能となる。
【0035】
本出願に係わる第4の発明によれば、撮像パラメータのマニュアル設定を行うことなく被写体抽出用の撮像モードを自動的に設定することが可能となる。
【0036】
本出願に係わる第5の発明によれば、撮像条件が異なる複数画像から特定被写体の抽出用の撮像動作(画像取り込み動作)終了後に通常の撮像モードへ復帰させるための操作が不要となり、操作性を向上させることができるようになる。
【0037】
本出願に係わる第6の発明によれば、比較データ生成手段により生成される比較データおよび制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理が行われるので、撮像条件を制御して特定被写体画像を切り出す処理に必要な初期データを高速に算出することができるようになる。
【0038】
本出願に係わる第7の発明によれば、解像度(ピント)を適切に制御した複数画像から特定被写体画像を高速に抽出することが可能となり、また環境や照明条件の変動に影響されることが少なくて安定した被写体抽出を行うことが可能となる。
【0039】
本出願に係わる第8の発明によれば、画像フレーム全体または特定領域での露光条件を適切に制御して、特定被写体画像を高速に、かつ安定的に抽出することができるようになる。
【0040】
本出願に係わる第9の発明によれば、撮像パラメータの優先順位が設定可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定することが可能となる。
【0041】
本出願に係わる第10の発明によれば、信号処理を施されない映像信号を画像記録手段が記憶しているので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことが可能となる。
【0042】
本出願に係わる第11の発明によれば、動画または静止画対応の画像圧縮符号化手段が設けられており、かつ被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変ので、静止画または動画での画像切り出しを行うことが可能となるとともに、抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を選択することが可能となる。
【0043】
本出願に係わる第12の発明によれば、動画での特定被写体の安定した切り出しが可能となる。
【0044】
本出願に係わる第13の発明によれば、外部端末からのオンライン操作なしでも被写体抽出を行うために必要な基本撮像動作を適切に行うことができるようになる。
【0045】
【発明の実施の形態】
以下、本発明の画像入力装置、画像処理装置の実施形態を図面を参照して説明する。
図1は、本発明の画像入力装置の要部構成を示す機能構成図である。図1において、Aは撮像モード設定手段、Bは撮像パラメータ計測制御手段、Cは記録手段、Dは撮像手段、Eは切り出し画像処理手段、Fは制御コマンド通信手段、Gは画像転送手段である。
【0046】
上記撮像モード設定手段Aは、上記撮像手段Dが被写体抽出するための撮像モードを設定する。また、上記撮像モード設定手段Aは、撮像モード設定ボタン(図示せず)を有し、上記撮像モード設定ボタンが操作されると撮像モードの設定動作を開始する。また、上記撮像モード設定手段Aは、上記撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動的に復帰するようになっている。
【0047】
上記撮像パラメータ計測制御手段Bは、上記撮像モード設定手段Aによって設定された撮像モードに基づく撮像パラメータの計測制御を行う。また、予め設定された撮像モードに基づいて撮像パラメータの計測制御を行うこともある。さらに、上記制御コマンド通信手段Fから与えられる制御コマンドに基づいて撮像パラメータを制御することもある。また、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するとともに、撮像パラメータの優先順位を設定可能である。
【0048】
そして、上記撮像パラメータ計測制御手段Bは、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作するようになっている。
さらに、上記撮像パラメータ計測制御手段Bは、上記撮像モード設定手段Aからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段(いずれも図示せず)を具備している。
【0049】
また、上記取り込み信号発生手段は、上記撮像モード設定手段Aからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する。
【0050】
上記記録手段Cは、上記撮像パラメータおよび画像を記録するために設けられているものである。また、上記画像記録手段Cは、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段Cおよび画像転送手段Gを有している。上記画像記録手段Cは、動画または静止画対応の画像圧縮符号化手段(図示せず)を有していて、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法を可変できるようになっている。
【0051】
上記撮像手段Dは、被写体抽出用の撮像を行うために設けられているものである。
【0052】
上記切り出し画像処理手段Eは、上記撮像手段Dにより複数の撮像条件で得られた画像に所定の処理を施して画像の切り出しを行う。また、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段(図示せず)を具備しており、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段Fから与えられる制御コマンドに基づいて切り出し画像の処理を行う。
【0053】
さらに、上記切り出し画像処理手段Eは、時系列画像から画像切り出しを行う画像切り出し処理部(図示せず)と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段(図示せず)とを有している。
【0054】
上記制御コマンド通信手段Fは、上記撮像手段Dの撮像動作を制御する制御コマンドに関する通信を行うものである。
上記画像転送手段Gは、上記撮像手段Dにより生成された画像データを外部に転送するためのものである。
【0055】
上述のように、構成された画像入力装置によれば、上記撮像手段Dが特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【0056】
また、本発明の他の特徴によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【0057】
また、本発明その他の特徴によれば、制御コマンド通信手段Fを介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【0058】
また、本発明その他の特徴によれば、上記撮像モード設定手段Aに撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始するようにして、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定する。これにより、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【0059】
また、本発明その他の特徴によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作(画像取り込み動作)終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を向上させることができる。
【0060】
また、本発明その他の特徴によれば、上記比較データ生成手段により生成される比較データおよび制御コマンド通信手段Fから与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【0061】
また、本発明その他の特徴によれば、上記撮像モード設定手段Aからの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度(ピント)制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【0062】
また、本発明その他の特徴によれば、上記撮像モード設定手段Aからの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段(図示せず)を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【0063】
また、本発明その他の特徴によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができ、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を図ることができる。
【0064】
また、本発明その他の特徴によれば、信号処理が施されない映像信号を画像記録手段Cに記憶するようにしたので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御のもとで高速撮像動作を行うことができる。これにより、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるとともに、画質の安定化を図ることができる。
【0065】
また、本発明その他の特徴によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【0066】
また、本発明その他の特徴によれば、被写体動作の有無、カメラワーク(パンニング、スキャンニングなど)の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での選択的切り出しを行うことができる。
【0067】
また、本発明その他の特徴によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、上記撮像パラメータ計測制御手段Bを動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができる。また、被写体抽出に必要な基本撮像動作を適切に行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【0068】
次に、本発明の画像入力装置のより具体的な構成および動作を実施形態に基づいて詳細に説明する。
まず、第1の実施形態について説明する。
本実施形態ではピント状態を制御して異なる撮像条件での画像から特定被写体抽出処理を照明条件などによらず安定的かつ高速に行う。
【0069】
図2は、特定被写体の抽出用の撮像モードと抽出処理機構を有する画像処理カメラの要部構成図である。なお、被写体抽出の撮像モードとは、撮像パラメータ(レンズ配置、シャッタ速度、絞り口径など)を制御して複数の画像データをイメージセンサから画像記録(記憶)手段に出力するまでの撮像動作モードを表している。
【0070】
図2において、1は画像入力手段である撮像手段全体(カメラヘッダ)、2は結像光学系、3はレンズモータ駆動制御部であり、合焦レンズ駆動手段(フォーカスモータ)、ズームレンズ駆動手段、およびマウントされたレンズの種別等のレンズ情報読み出し(計測)手段などから構成される。
【0071】
4はイメージセンサで典型的にはCCDなどの固体撮像素子、5は撮像パラメータ計測制御手段であり、ズーム検出制御手段51、焦点信号(合焦状態)検出制御手段52(合焦状態検出部52a、フォーカス制御部52b)、シャッタ速度検出制御手段53、絞り計測制御手段54、などを備えている。
【0072】
上記シャッタ速度制御手段53は、不図示の機械的シャッタの制御を行うもので、電子シャッタを用いる場合は後述するセンサ駆動回路18で実質的なシャッタ速度(電荷蓄積時間)を制御して行う。合焦状態の検出は映像信号を用いた検出方式、赤外線を用いた測距方式のいずれでもよい。
【0073】
6は画像記録再生手段であり、撮像時には記録媒体(テープ媒体、光(磁気)ディスク媒体、或いはICメモリカード等のICメモリ媒体など)に所定のフォーマットでデジタル記録する。
【0074】
なお、記録媒体または画像記録再生手段6は、カメラ本体と着脱可能としてもよい。また、記録媒体には被写体抽出モードでの撮像動作手順プログラムおよび必要データなどを書き込んでおき、その情報に基づいて映像を行うように制御してもよい。
【0075】
画像の再生時は、ビューファインダ(EVFなど)7または後述するデータ転送手段12に画像データを出力する。8は撮像パラメータ記録手段であり、レンズモータ駆動手段3からのレンズ情報、撮像パラメータ、画像信号特性パラメータおよびストロボ発光の有無、スキャンニングなどの意図的なカメラ操作(運動)、手ぶれの有無などを含む撮像時の情報を記録する。
【0076】
特に、カメラ操作(スキャン、パンなど)については映像信号処理により検出してもよいし、撮像手段に不図示の加速度センサ、或いはジャイロ等を内蔵させ、その出力データから判定してもよい。
【0077】
9は被写体抽出のための被写体抽出モード設定手段としてのスイッチであり、これが設定されるとスイッチの投入に続く不図示のシャッタボタン等からの撮像開始動作信号により、被写体抽出用の撮像モードによる画像取り込みが行われる。
【0078】
なお、撮像開始用スイッチは被写体抽出モード設定スイッチを兼ねるように構成してもよい。10は外部からのコマンドデータ通信制御手段、11は出力画像生成手段で、出力先に応じてアナログ/デジタル画像信号を生成する。
【0079】
例えば、TV受像機にはNTSC信号またはPAL信号を生成する。さらに、出力機器に応じた濃淡の階調補正、誤差拡散処理、色成分補正処理を行った画像信号をディスプレイ、プリンタなどに出力してもよい。
【0080】
このような出力信号の生成、加工の指示はコマンドデータ通信制御手段10を介して外部から行うか、またはカメラの不図示の操作パネル上スイッチなどを用いて行えるものとする。
【0081】
12はデータ転送手段であり、不図示の通信インターフェイス手段、アダプター端子などを含む、外部の表示装置やコンピュータなどに画像データなどを出力するときに用いる。
13は被写体切り出し用画像処理手段で、複数の撮像条件で得られる画像を後述する方法により処理して画像の切り出しを行う。
【0082】
14は画像取り込み信号発生手段であり、露光条件、撮像条件の制御状態のチェック、イメージセンサ(CCD)での電荷蓄積・転送時間、およびメモリでの画像の書き込み制御手段のタイミングなどを考慮して、適切な撮像の取り込みを行うためのものである。
【0083】
15は複数撮像条件の設定手段としてのシステム制御部であり、コマンドデータ通信制御手段10、被写体抽出モード設定スイッチ9からの信号、或いは画像記録再生手段6の記録媒体に書き込まれた制御プログラムの情報を読み込むことにより被写体抽出モードでの一連の撮像動作用制御信号を発生する。
【0084】
16は絞り、17は映像信号処理部であり、前処理回路(17a:サンプルアンドホールド回路、オートゲインコントロール回路、A/D変換回路など)、ガンマ補正制御回路17b、その他の映像信号処理回路(17c:ホワイトバランス補正回路、手ぶれ補正回路等を含む)から構成される。なお、これらの回路構成は図2に概略的に図示したものに限定されるものではない。
【0085】
18はセンサ駆動回路であり、上記イメージセンサ4を駆動して電荷蓄積時間、転送タイミングなどを制御する。なお、図2においては、本実施形態に特に関係した制御信号の流れを矢印で示してある。
【0086】
本実施形態では、被写体抽出用撮像モードにおいては合焦レベル検出手段からの出力に基づいて、合焦用レンズモータ(フォーカスモータ)を駆動し、最適合焦レベル、すなわち、被写体に最もピントの合った状態において、イメージセンサから高解像画像の取り込みを行う。
【0087】
その後、続いて直前の合焦レンズモータの駆動方向と同一方向にピントずれが生じるように駆動し、適切な非合焦レベルでの低解像画像の取り込みを連続的に行う。ここで、適切な非合焦レベルとは予め設定され、記憶手段に記録された値、または外部の端末などからのコマンド信号により設定された値のことであり、例えば合焦レベルからの割合(合焦値の9割のような数値)などで与えられる。また、更に異なる非合焦レベルで撮像し、画像切り出しの初期データ抽出(粗く切り出された画像データ)のために用いてもよい。
【0088】
以上にような連続撮像動作が終了すると、自動的に被写体抽出モードが解除されるか、或いは被写体抽出モード設定スイッチ9により、標準モードへの復帰設定がなされる。なお、上述した撮像モードの設定および解除等の操作は不図示の端末からのコマンド入力により行ってもよい。
【0089】
図3は、外部装置からの制御コマンドを受けずに基本的にカメラ上のスイッチ操作等で行う場合、ピント状態の異なる複数画像を撮像して画像切り出し処理を行うまでの基本処理フローである。
【0090】
図3にしたように、処理が開始されると、先ず、電源が投入されてカメラがスタンバイ状態に設定される(ステップS5a)。次に、被写体抽出撮像モードに設定され、撮像条件データの読み込みが行われる(ステップS5b)。これは、複数撮像条件設定制御手段15に内蔵されている撮像条件制御のための標準パラメータ値(例えば、非合焦レベルの範囲、切り出し処理のための撮像枚数、など)、或いは基本制御プログラムなどを読み出す処理である。
【0091】
次に、ステップS5cに進んで、レンズ情報検出、撮像パラメータ記憶手段に記録する処理を行う。これは、レンズ情報等マウントされた結像光学系のスペック、種別をレンズモータ駆動手段3により検出する処理である。この情報は、ピント制御時にフォーカスモータの駆動量を適切に制御するか、或いは以前に用いられた撮像条件と同一に設定する際に、光学系の種別に応じた設定の高速化を可能とする目的で用いられる。
【0092】
その後、通常の撮像モードと同様に倍率設定し(ステップS5d)、測光と(自動)露出条件の設定を行う(ステップS5e)。次に、被写体に対して最適合焦レベルになるまでフォーカスモータを駆動して焦点信号評価を行う(ステップS5f)。その後、ステップS5gに進んで山登り法などに基づいて合焦判断し、被写体にピントの合った画像を撮像する(ステップS5h)。
【0093】
次に、フォーカスモータを同一方向に所定幅駆動して、焦点信号レベルを評価し(ステップS5i)、予め設定した許容範囲内の非合焦レベルであるか否かを判断し(ステップS5j)、上記許容範囲内の非合焦レベルであれば、ステップS5kに進んで撮像を行う。
【0094】
その後、ステップS5lに進んで撮像枚数をチェックし、予め設定された最大枚数になるまでピント制御と撮像動作を繰り返す。
また、ステップS5jの判定の結果、許容範囲内でない場合には、ステップS5i’に進み、レンズ駆動方向逆転、駆動幅縮小の処理を行い、その後、ステップS5iに戻って上述した動作を繰り返し行う。
以下、焦点信号レベルの差が小さい複数画像間で差分画像データの抽出(ステップS5m)を行い、画像切り出し処理(ステップS5n)を行う。
【0095】
図4(a)は、ピント制御による複数撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示した図である。
図4(a)から明らかなように、初期位置からフォーカスレンズを駆動して一旦合焦レベルを検知して撮影した後、所定量フォーカスレベルを駆動して許容範囲内でのピントずれ画像を取り込むことを示している。
【0096】
図5は、カメラ本体の基本制御手順を示すフローチャートである。上述のように、被写体抽出のための撮像モード設定の仕方は、カメラ本体上での操作による設定(ステップS6a)、被写体抽出のためのプログラムを内蔵した記録媒体装填による設定(ステップS6b)、外部端末などからのコマンドデータ受信による設定(ステップS6c)の3通りである。
【0097】
前2者では、基本制御プログラムを作動し(ステップS6d)、コマンドデータ受信による場合では更に制御すべき撮像パラメータ、撮像条件の制御量、撮像枚数、およびカメラ内部での処理範囲(例えば、切り出し処理のための差分データ算出などの前処理、複数撮像条件での撮影のみなどのように指定される)などを設定する(ステップS6e)。
【0098】
なお、基本制御プログラムには、これらの条件が予め標準的に設定されているものとする。複数の撮像条件による撮像時(ステップS6f)には、設定されたパラメータに基づく撮像条件の制御(フォーカス制御、ガンマ補正制御)とその時の撮像パラメータ(レンズデータ、焦点距離、倍率、焦点信号、フォーカスレンズ配置、ガンマ制御値、絞り径、電荷蓄積時間など)の記録が行われる。
【0099】
その後の動作手順は、カメラ内部での処理範囲に応じて、3通りの制御フローに分岐する。
すなわち、第1の動作は標準モードに自動復帰する(ステップS6j)ことである。また、第2の動作は、被写体抽出モードでの撮像動作終了後は切り出し条件入力を受ける(ステップS6g)ことであり、第3の動作は、予め設定された標準条件で切り出し処理(ステップS6h:後述)を行うことである。
【0100】
処理終了後は、切り出し画像をカメラ本体内の記憶手段に記録するか、外部メモリまたは表示装置へ転送する(ステップS6i)か、或いはファインダやディスプレイ等のモニタに表示(ステップS6i′)してもよい。以上の処理の終了後、標準撮像モードへの自動または手動による復帰(ステップS6j)が行われる。
【0101】
以下に、上記イメージセンサ4から取り込まれた各画像の処理過程について詳述する。
合焦状態(ピント)を制御して得られる少なくとも2つのセンサからの映像信号に対して、それぞれ映像信号処理手段17cにおいてガンマ補正、ホワイトバランス補正などを行う。
【0102】
そして、撮像手段内部の切り出し画像処理手段13においては、高解像画像(合焦画像)と低解像画像(非合焦画像)との差分、または2つの異なる低解像度画像間の差分データを求め、これらに対して平滑化、2値化、細線化の処理を行う。
【0103】
なお、差分以外の処理は、不図示の外部端末などからコマンドデータ通信制御手段10を介して適切な処理パラメータを入力して行ってもよい。非合焦度の異なる低解像度の複数画像を用いる場合には、空間周波数の高い成分がカットされ、それらの差分データから特定対象の輪郭線を抽出する際、余分な孤立特徴点または孤立領域の影響を抑制することができる。
【0104】
したがって、ノイズや背景部の高い空間周波数成分、或いは照明条件に左右されずに精度の安定した初期データ(輪郭線)を得ることができる。なお、差分によって負となる画素の出力値はゼロに設定するか、または、各画素での差分の絶対値を出力してもよい。
【0105】
次に、後続する初期データ(輪郭線)抽出処理について説明する。
この処理は、カメラと接続した端末においても行うことができるものとするが、カメラ内部での演算手段による処理については標準処理モードとして登録しておくか、コマンドデータ通信制御手段10を介して端末などから指定することができるようになっている。
【0106】
典型的には、カメラ内部での標準処理としては複数撮像条件の画像間の差分算出および2値化処理または差分算出および平滑化処理などのように基本制御プログラムに設定される。
【0107】
撮像条件制御により得られる画像間の比較(差分)データ算出後の平滑化処理は孤立特徴(不定形の同一輝度または色を有する局所領域、ラインセグメントなど)の除去およびガウシアンフィルタ等との畳み込み演算、或いは一般的なローパスフィルタ処理などを行う。
【0108】
その後の2値化処理の閾値の設定は大津の方法(電子情報通信学会論文誌、vol.J63,pp.349−356,1980)、或いは画像を適切なサイズのブロックに分類した後に、局所的な画像データ(輝度、色など)の統計処理(平均、分散値、ヒストグラムからの仮説検定など)に基づいて設定する方法などを用いればよい。
【0109】
図6は、以上に説明した処理方法を適用した画像データの処理経過を示したものである。図6において(1)はピントの合った画像、(2)はピントずれを起こした場合の画像を模式的に強調した図である。
【0110】
また、(3)はユーザが(1)の画像を表示手段上で確認しながら抽出被写体内の一点を指示した場合に設定された局所領域を示している。(4)は(1)と(2)の差分画像データから局所領域内において平滑化、2値化、細線化を行った画像を示している。また、(5)は輪郭線追跡処理を行った結果得られる初期輪郭線内の画像の一例を示す図である。
【0111】
なお、図示はしないが、差分画像データを求める際には、上述したように合焦度が異なり、かついずれもピントずれのある画像2枚を用いてもよい。本実施形態では、図7に示す構成を用いて画像処理カメラ1の撮像および画像処理動作を端末21から制御してもよい。
【0112】
以下、図7を参照して、演算手段21としてのコンピュータ端末、表示手段22(第1の表示装置22a、第2の表示装置22b)、指示手段(マウス)23、データ通信ネットワーク手段24(バスコントロール手段などを含む)を具備した系での画像抽出処理手順について説明する。
【0113】
ここでは、マウス23などで設定した指定点を中心とする一定サイズの局所領域(または、マウス23などで任意の形状に設定した領域)に対して統計処理に基づいて2値化閾値を設定し、2値化および細線化、輪郭線追跡処理をその領域内で行ってもよい。処理終了後は、その端点を中心とする局所領域を自動設定し同様の処理を繰り返す。この中で、細線化は太い初期輪郭線中の代表点を得るための処理であり、従来の画像処理で行われる方式に限定されるものではない。
【0114】
例えば、粗い初期輪郭中の任意の一点から左右上下いずれかの方向に端点を探索し、次にその点に隣接する端点を探索して代表点としてもよい。なお、細線化により近傍領域内で複数のエッジまたは輪郭線が存在する場合には、それらをディスプレイに入力画像と重ね合わせて表示し、いずれのエッジをとるかをマウスなどの手段を用いて選択指示することを可能としてもよい。
【0115】
近傍領域内に単一のエッジのみ存在するか、或いはユーザによりエッジが選択されると予め設定された方向に輪郭線追跡処理が行われ、そのエッジに連結する細線化像の各点を初期輪郭線のサンプリング点としてそれぞれの位置を逐次記録する。
【0116】
なお、細線化像が分岐構造を有する場合の分岐方向の選択方法としては、分岐前の点の追跡方向と直交方向の輪郭線の画像データ属性(色、輝度またはそれらの分散など)が連続する分岐方向、分岐前後の方向変化が少ない方向を優先して選択する。
【0117】
この場合には、分岐後の各点を中心とする微小領域の画像属性を検出して行う。他の方法としては輪郭追跡を中断し、分岐点を中心とする領域を点滅表示するなどして、いずれの分岐をとるかをユーザに選択させてもよい。
【0118】
また、2値化、細線化処理により輪郭線が途中で分断された場合にはエッジの接続処理を行う。この場合、所定のアルゴリズム(第23回画像工学コンファレンス論文集、pp.67−70,1992 など参照)により接続を自動的に行うか、或いは輪郭追跡の結果として残存する端点に対して表示手段上で点滅表示する。
【0119】
または、他の輪郭線と異なる色表示を行うなど端点であることを明示するように表示を行い、ユーザがそれを確認して接続すべき端点を指示選択手段23を用いて指示することにより接続してもよい。
【0120】
接続点同士を結ぶ輪郭線としては、直線または輪郭線上の代表点を用いてスプライン補間曲線などを生成してもよい。特に、輪郭追跡後の端点が画像フレーム上にある場合は他のフレーム上端点とを結んでもよい。
【0121】
以上のようにして、閉じた輪郭線とその内側の画像データを抽出した後、統計的処理などによる背景領域の除去処理、領域成長法、或いは動的輪郭処理法などを適用して更に精密な画像抽出を行ってもよい。
【0122】
次に、本発明の画像入力装置の第2の実施形態を説明する。
本実施形態では、切り出し画像処理手段13において合焦状態を連続的に制御して得られる3つ以上の複数画像間の差分データ(複数ある)の平均化処理を行い、その結果に対して切り出すべき画像の初期輪郭線抽出処理(平滑化、2値化、細線化処理など)を行う。
【0123】
このためには、合焦状態検出手段からの出力に基づいて、レベルモータを高速駆動して最適合焦値を含む前半(前ピン)または後半(後ピン)、或いは前ピン、後ピン両方を含む静止画像を少なくとも3枚、所定の時間間隔で連続撮像し、画像記憶手段6に保持する。典型的には、合焦検出による画像取り込み後、複数の非合焦画像を所定枚数だけ連続撮影する。
【0124】
図8に、本実施形態のように比較的多数の画像を撮像条件を変えて取り込む場合のカメラ内部の構成を示す。
ここでは、イメージセンサ4からの信号は映像信号処理部を介さずに直接キャッシュメモリなどの一時記憶手段31に高速切り替え転送手段30により転送記録される。
【0125】
複数撮像条件による撮像、すなわち、一時記憶手段31への画像書き込みが終了後は順次転送して映像信号処理と画像切り出しに必要な前処理などを行う。なお、この時に上記切り替え転送手段30は、切り出し画像処理手段13に直接転送するようにしてもよい。
【0126】
このように、センサ4からの映像信号に対して通常行われる非線形処理を施さないことにより撮像時の照明条件の変化、被写体の運動などの影響を抑止して処理精度の安定化をもたすことができる。また、映像信号処理を一連の画像取り込み後に行うことにより、撮像動作の高速化と切り出し処理の安定化、柔軟性の向上をもたらすことができる。
【0127】
なお、時系列的に撮像する際、直前の画像データと平均化処理により更新された差分データのみを一時的に保持してもよい。また、初期輪郭線抽出処理に使う画像の枚数を予めNと指定すると、合焦過程においてN以上の画像取り込みがなされる場合は最新のN枚画像を保持し(古い順に消去)、しかる後に、差分データの算出と平均化処理を行ってもよい。
【0128】
本実施形態のように、複数の合焦状態が僅かに異なる画像間の差分データを平均化することによりノイズの影響を抑制し、精度、分解能の高い画像抽出を実現することができる。
【0129】
次に、本発明の第3の実施形態を説明する。
本実施形態では露光条件制御またはセンサ感度特性の制御を伴う複数撮像条件での画像からの抽出処理を行う。
【0130】
図9に、画像処理カメラの構成図を示す。この場合に制御される撮像パラメータとしては、絞りの径、イメージセンサのゲイン、ガンマ特性、ストロボ発光強度、ストロボ色温度(発光スペクトル)、センサ(CCD)の電荷蓄積時間(またはシャッタ速度)などが挙げられる。なお、上記ガンマ特性は、映像信号処理回部17に設けられたガンマ補正制御回路17bにより行われる。
【0131】
本実施形態では、そのいずれかを映像信号処理部17、ストロボ発光手段19、または撮像パラメータ計測制御手段(シャッタ速度制御部53または絞り計測制御部54)へ制御信号を送ることにより異なる撮像条件での撮影、すなわち、通常撮像モードでの最適値から微小量制御して得られる画像とその最適条件での画像の撮像を行う。
【0132】
また、本実施形態ではどの撮像パラメータを優先的に制御するのかを設定するスイッチ、すなわち、優先順位を設定する優先撮像パラメータ設定手段20を有する。例えば、上述した実施形態の(非)合焦度と露光条件、センサ感度特性などを相対的に重みを付けて制御するためにピント優先、露光条件優先などの設定スイッチを設けても良い。
【0133】
図7に示したシステム構成において、図9の複数撮像条件設定制御部15は表示装置22上に表示される画像上の一点をマウス23等で指示すると、その点を中心とする予め設定されたサイズの領域または全画面において映像信号処理部17に制御信号を送る。
【0134】
そして、通常の撮像モードで設定されるガンマ特性値での画像とその映像信号特性パラメータを各画素または局所領域で制御した(一定の幅で変更した)場合の複数の画像を取り込む、領域の形状、サイズの指定は指示手段23により直接行ってもよい。
【0135】
図4(b)は、輝度レベル(I>I)に応じたガンマ係数の最適値(センサ信号レベルに応じて変わる)からの変化量と輝度レベルの変化量の関係を模式的に示した図である。
【0136】
このようにして変調することにより得られる画像間の差分データを適切な閾値で2値化、細線化するとガンマ特性の非線形性により実際の画像中の輪郭線(エッジ成分)に対応した線画像が得られる。これから、第1の実施形態に説明した方法で初期輪郭線を得る。
【0137】
なお、絞りの径または電荷蓄積時間の制御は背景と対象物と輝度レベルとが大きく異なる場合、蓄積電荷の非線形な飽和特性により上述した方法による輪郭線抽出が特に有効である場合がある。
【0138】
また、ストロボ発光特性(強度、スペクトル)を制御して撮像する際はストロボ光の被写体からの反射強度が十分ある場合(室内撮影時、被写体距離が十分小さい場合など)に有効である。
【0139】
次に、本発明の第4の実施形態を説明する。
本実施形態の画像処理カメラは、動画像の録画撮影を行い(手ぶれ補正のための映像信号処理が入る)ながら、被写体抽出用撮像モードスイッチが押されると前実施形態のように自動的に複数撮像条件での連続静止画の記録撮影を行う。
【0140】
図10は、本実施形態の画像処理カメラの要部構成図を示している。
電源投入後、録画撮影モードに設定すると動画像の撮影と記録を行う。記録時には画像圧縮符号化部40で動画に対してはMPEGなどによる符号化、切り出し画像に対してはJPEGなどによる静止画符号化を行ってもよい。
【0141】
また、切り出し画像処理手段13により被写体の動画像が切り出される場合は、切り出された動画像を画像圧縮符号化部40で動画対応で符号化してもよい。このような処理の切り替えは、被写体抽出モード設定スイッチのオン・オフ信号に応じて複数撮像条件設定制御部15が画像圧縮符号化部40に切り替え制御信号を送ることによって行われる。
【0142】
画像圧縮符号化部40は、動画または連続静止画かのインデクスを画像データのヘッダ部またはヘッダファイルとして生成する。本実施形態では、被写体抽出のための被写体抽出モード設定スイッチ9が押されると、撮像条件を制御しながら高速画像取り込みが前実施形態と同様に行われ、映像信号処理部17から出力される映像信号データを切り出し画像処理手段13で処理し、切り出し画像を画像圧縮符号化部40に出力して更に圧縮符号化してもよい。
【0143】
被写体抽出モードで得られる連続静止画に対して切り出し処理を行った結果得られる抽出画像を登録し、更にこれをテンプレート画像として用い、画像追跡手段41で被写体画像の追跡を行い、動画で切り出し処理を行ってもよい。
このようにして動画像でアングルを変えて撮影しながら、切り出したい視点位置からの静止画像の高画質化を実現することができる。
【0144】
【発明の効果】
本発明は上述したように、本出願に係わる第1の発明によれば、撮像手段が特定被写体画像を抽出するための撮像を行う際に、最適な撮像パラメータを設定または制御することができる。また、撮像条件の制御により抽出画像の画質を最適化することができるので、被写体画像の抽出を高速にかつ高画質に行うことができる。
【0145】
本出願に係わる第2の発明によれば、画像の特徴量などを外部から制御することができるので、被写体抽出のための撮像動作や、画像入力装置内部で行う画像処理を遠隔操作することができ、かつ抽出された画像を遠隔調地点へオンライン転送することができる。
【0146】
本出願に係わる第3の発明によれば、制御コマンド通信手段を介して外部から制御コマンドを供給して撮像パラメータを制御することが可能なので、被写体抽出のための撮像パラメータを外部から制御することができ、抽出画像の高画質化と抽出処理の高速化を実現することができる。
【0147】
本出願に係わる第4の発明によれば、撮像モード設定手段に撮像モード設定ボタンを設け、上記撮像モード設定ボタンが操作されたら撮像モードの設定動作を開始して、撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定するようにしたので、被写体抽出モードでの撮像パラメータを自動的に設定することができ、撮像パラメータの制御量をマニュアルで設定しなくても済むようにすることができる。
【0148】
本出願に係わる第5の発明によれば、撮像条件が異なる複数画像から特定被写体を抽出するための撮像動作(画像取り込み動作)終了後に通常の撮像モードへ復帰させるための操作を不要にすることができ、被写体抽出モードでの撮像から通常撮像モードへの復帰設定を不要として、操作性を大幅に向上させることができる。
【0149】
本出願に係わる第6の発明によれば、比較データ生成手段により生成される比較データ、および制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うようにしたので、撮像条件の制御による特定被写体画像の切り出し処理に必要な前処理を画像入力装置内で高速に行うようにすることができる。
【0150】
本出願に係わる第7の発明によれば、撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、解像度(ピント)制御により得られる複数画像から特定被写体画像を高速に抽出することができるとともに、照明条件によらず安定した画像抽出を行うことができる。
【0151】
本出願に係わる第8の発明によれば、撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を設けたので、画像フレーム全体または特定領域での露光条件を適切に制御して、高速かつ安定的に特定被写体画像の抽出を行うことができる。
【0152】
本出願に係わる第9の発明によれば、撮像パラメータの優先順位を設定することが可能なので、例えばピント優先制御か露光量優先制御かを指定することができる。これにより、撮影状況に応じた適切な撮像条件制御を設定して、切り出し画像の画質を向上させることができるとともに、処理の高速化を行うことができる。
【0153】
本出願に係わる第10の発明によれば、信号処理が施されない映像信号を画像記録手段に記憶したので、撮像環境条件の変化や被写体動作の影響を受けることが少なくて安定した画像切り出しを行うことができ、撮像条件の制御の下で高速撮像動作を行うことができ、撮像環境条件の変化や、被写体動作の影響を受けずに切り出し画像の精度を向上させるようにすることができるとともに、画質の安定化を図ることができる。
【0154】
本出願に係わる第11の発明によれば、静止画または動画での画像切り出しを行うことができ、かつ抽出モードが静止画か動画かに応じて適切な圧縮符号化方法を自動的に選択することができる。
【0155】
本出願に係わる第12の発明によれば、被写体動作の有無、カメラワーク(パンニング、スキャンニングなど)の有無によらず安定した画像切り出しを行うことができ、更に動画または静止画での切り出しを選択的に行うことができる。
【0156】
本出願に係わる第13の発明によれば、画像入力装置本体に内蔵されている記憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより、撮像パラメータ計測制御手段を動作させるようにしたので、外部端末からのオンライン操作や、複雑なマニュアル操作を行なくとも済ますことができ、被写体抽出に適切な基本撮像動作を行うことができる制御プログラムを内蔵させたり、着脱可能なメモリにより制御プログラムを供給したりすることができる。
【図面の簡単な説明】
【図1】本発明の画像入力装置の要部構成を示す機能構成図である。
【図2】ピント制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図3】被写体抽出モードにおける画像入力装置内部での基本処理を示すフローチャートである。
【図4】撮像パラメータの変化と画像特性の関係を示す特性図である。
【図5】被写体抽出モードの設定から切り出し画像の出力までの画像入力装置本体の基本制御手順を示すフローチャートである。
【図6】ピント制御を行った複数画像に対して画像切り出し処理を行う過程を示す図である。
【図7】画像抽出システムの一例を示す構成図である。
【図8】高速画像取り込みを行う画像処理カメラの要部構成図である。
【図9】露光量制御により被写体抽出を行う画像処理カメラの要部構成図である。
【図10】動画像撮影中に特定場面で被写体抽出モードで撮像する場合のカメラの要部構成図である。
【符号の説明】
1 撮像手段の筒鏡
2 結像光学系
3 レンズモータ駆動制御部
4 イメージセンサで典型的にはCCD
5 撮像パラメータ計測制御手段
6 画像記録再生手段
7 ビューファインダ(EVFなど)
8 撮像パラメータ記録手段
9 被写体抽出モード設定手段
10 コマンドデータ通信制御手段
11 出力画像生成手段
12 データ転送手段
13 切り出し画像処理手段
14 画像取り込み信号発生手段
15 複数撮像条件設定制御部
16 絞り
17 映像信号処理部
18 センサ駆動回路
19 ストロボ発光手段
20 優先撮像パラメータ設定手段
A 撮像モード設定手段
B 撮像パラメータ計測制御手段
C 記録手段
D 撮像手段
E 切り出し画像処理手段
F 制御コマンド通信手段
G 画像転送手段

Claims (16)

  1. 被写体抽出用の撮像を行うための撮像手段と、
    上記撮像手段が被写体抽出するための撮像モードを設定する撮像モード設定手段と、
    上記撮像モード設定手段によって設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、
    上記撮像パラメータおよび画像を記録するための記録手段とを具備することを特徴とする画像入力装置。
  2. 被写体抽出用の撮像を行うための撮像手段と、
    予め設定された撮像モードに基づく撮像パラメータの計測制御を行うための撮像パラメータ計測制御手段と、
    上記撮像パラメータおよび画像を記録するための記録手段と、
    上記撮像手段が複数の撮像条件で撮像して生成した画像に所定の処理を施して画像の切り出しを行う切り出し画像処理手段と、
    上記撮像手段の撮像動作を制御する制御コマンドに関する通信を行う制御コマンド通信手段と、
    上記撮像手段により生成された画像データを外部に転送するための画像転送手段とを具備することを特徴とする画像処理装置。
  3. 上記撮像パラメータ計測制御手段は、上記制御コマンド通信手段から与えられる制御コマンドに基づいて上記撮像パラメータを制御することを特徴とする請求項2に記載の画像処理装置。
  4. 上記撮像モード設定手段は撮像モード設定ボタンを有し、上記撮像モード設定ボタンが操作されるを撮像モードの設定動作を開始し、上記撮像パラメータ計測制御手段は撮像パラメータ計測値に基づいて撮像パラメータの制御量を設定することを特徴とする請求項1に記載の画像入力装置。
  5. 上記撮像モード設定手段は、所定の撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴とする請求項1に記載の画像入力装置。
  6. 上記撮像モード設定手段は、所定の撮像モードを設定して必要な画像の取り込んだ後に標準撮像モードへ自動復帰することを特徴とする請求項4に記載の画像入力装置。
  7. 上記切り出し画像処理手段は、撮像パラメータが異なる複数の画像間の比較データを生成する比較データ生成手段を具備し、上記比較データ生成手段により生成される比較データ、および上記制御コマンド通信手段から与えられる制御コマンドに基づいて切り出し画像の処理を行うことを特徴とする請求項2に記載の画像処理装置。
  8. 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項1に記載の画像入力装置。
  9. 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項4に記載の画像入力装置。
  10. 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいて結像光学系のレンズ配置を制御するレンズ配置制御手段、合焦度を検出するための合焦度検出手段、および上記合焦度検出手段からの出力に基づいて合焦度の異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項5に記載の画像入力装置。
  11. 上記撮像パラメータ計測制御手段は、上記撮像モード設定手段からの信号に基づいてシャッタ速度、光学絞りの開口径、またはイメージセンサの特性値の制御などによる露光条件の制御を行い、露光条件が異なる複数画像を取り込むための信号を発生する取り込み信号発生手段を具備することを特徴とする請求項1に記載の画像入力装置。
  12. 上記撮像モード設定手段は、撮像パラメータの優先順位を設定可能であることを特徴とする請求項1に記載の画像入力装置。
  13. 上記画像記録手段は、信号処理を施されない映像信号を記憶するものであり、複数の高速画像記録手段および画像転送手段を有することを特徴とする請求項1に記載の画像入力装置。
  14. 上記画像記録手段は、動画または静止画対応の画像圧縮符号化手段を有し、上記被写体抽出用の撮像モードにおいては、切り出した画像の種別に応じて圧縮方法が可変であることを特徴とする請求項1に記載の画像入力装置。
  15. 上記切り出し画像処理手段は、時系列画像から画像切り出しを行う画像切り出し処理部と、上記画像切り出し処理部で得られる切り出し画像を初期データとして時系列画像の追跡を行う画像追跡手段とを有することを特徴とする請求項2に記載の画像処理装置。
  16. 上記撮像パラメータ計測制御手段は、画像入力装置本体に内蔵されている1憶手段または脱着可能な記録媒体に書き込まれた基本制御プログラムにより動作することを特徴とする請求項1に記載の画像入力装置。
JP34389695A 1995-11-01 1995-12-28 画像入力装置および画像処理装置 Expired - Fee Related JP3624037B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP34389695A JP3624037B2 (ja) 1995-12-28 1995-12-28 画像入力装置および画像処理装置
US08/742,206 US6636635B2 (en) 1995-11-01 1996-10-31 Object extraction method, and image sensing apparatus using the method
DE69635101T DE69635101T2 (de) 1995-11-01 1996-10-31 Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
EP96117530A EP0774730B1 (en) 1995-11-01 1996-10-31 Object extraction method, and image sensing apparatus using the method
US10/678,255 US6993184B2 (en) 1995-11-01 2003-10-06 Object extraction method, and image sensing apparatus using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34389695A JP3624037B2 (ja) 1995-12-28 1995-12-28 画像入力装置および画像処理装置

Publications (2)

Publication Number Publication Date
JPH09186931A JPH09186931A (ja) 1997-07-15
JP3624037B2 true JP3624037B2 (ja) 2005-02-23

Family

ID=18365082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34389695A Expired - Fee Related JP3624037B2 (ja) 1995-11-01 1995-12-28 画像入力装置および画像処理装置

Country Status (1)

Country Link
JP (1) JP3624037B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050090804A (ko) * 2004-03-10 2005-09-14 삼성전자주식회사 복합촬영장치 및 그것을 이용한 dsc 렌즈 제어방법
JP2009094662A (ja) * 2007-10-05 2009-04-30 Hitachi Ltd 固体撮像装置
JP6214236B2 (ja) 2013-03-05 2017-10-18 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JPH09186931A (ja) 1997-07-15

Similar Documents

Publication Publication Date Title
US7453506B2 (en) Digital camera having a specified portion preview section
JP3541820B2 (ja) 撮像装置及び撮像方法
US7176962B2 (en) Digital camera and digital processing system for correcting motion blur using spatial frequency
US20040061796A1 (en) Image capturing apparatus
US20010035910A1 (en) Digital camera
US20020114015A1 (en) Apparatus and method for controlling optical system
JPH09243904A (ja) 画像の構図変化検出方法
JP2001169160A (ja) デジタルカメラおよびデジタルカメラにおける画像表示方法
JP3624037B2 (ja) 画像入力装置および画像処理装置
JP3555583B2 (ja) 光学系制御装置、光学系制御方法、記録媒体および撮像装置
JP3564050B2 (ja) カメラ、焦点調節装置、焦点調節方法、焦点調節プログラムを供給する媒体
JP3903048B2 (ja) 画像抽出方法
JP3252001B2 (ja) 自動焦点調節装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JPH09327037A (ja) 輪郭抽出方法及び画像抽出方法及び装置
JP2001086385A (ja) 電子カメラ
JP4196466B2 (ja) デジタルカメラ
JP2001211354A (ja) 電子カメラ
JP3116422B2 (ja) カメラ制御装置
US20020051072A1 (en) Image taking apparatus
JP2001136429A (ja) 電子カメラ
JPH11224324A (ja) 画像信号処理方法及び装置
JP2001148804A (ja) 電子スチルカメラ
JP2007060577A (ja) 撮像装置
JP2947037B2 (ja) ビデオカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081203

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091203

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101203

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111203

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121203

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees