本発明の画像抽出方法の実施の形態について説明する。本実施の形態における画像抽出方法は撮像システムに適用される。
[第1の実施の形態]
第1の実施の形態における撮像システムは、ピント状態を制御して異なる撮像条件での画像から特定の被写体抽出処理を照明条件などによらず安定かつ高速に行うことに特徴を有する。特定の被写体抽出処理とは背景画像から被写体画像を切り出す処理であるが、この処理を画像の分類、認識、追跡などの処理に適用してもよい。
図1は第1の実施の形態における撮像システムの構成を示すブロック図である。撮像システムは、少なくとも1台以上のカメラ(撮像装置)1、複数の端末装置21、表示装置22およびプリンタ25がデータ通信バス24に接続された構成を有する。端末装置21には指示選択を行うマウス23や表示装置26が設けられている。マウス23の代わりにペン入力で指示選択を行ってもよい。また、データ通信バス24にはバスコントロールが含まれている。
本撮像システムでは、端末装置21およびカメラ1がいずれも複数台接続されている場合、任意の端末装置21から任意のカメラ1における撮像モードの制御、およびカメラ内部での画像処理の制御を行うことが可能であり、いずれかの端末装置21がサーバとして機能する。
また、所定のモードで撮像されカメラ1から出力される画像データを端末装置21で処理して特定の被写体の切り出し処理を行うことも可能である。さらに、抽出された画像を任意の表示装置(表示装置22、表示装置26あるいは図示しないカメラ内部のファインダディスプレイ)に出力したり、プリンタ25に出力することも可能である。
図2はカメラ1の内部構成を示すブロック図である。カメラ1は特定の被写体抽出用撮像モードで撮像された画像から特定の画像を抽出する抽出処理機構を有する。但し、画像の抽出に必要な処理はカメラ1で行わず、端末装置21で行うようにしてもよい。ここで、被写体抽出用撮像モードとは、撮像パラメータ(レンズ配置、シャッタ速度、絞り径など)を制御して複数の画像データをイメージセンサから画像記録部に出力するまでの撮像動作モードを指す。
図2に示すカメラ1の内部において、2は結像光学系である。結像光学系2としては、焦点深度の浅いものが望ましい。3はレンズモータ駆動制御部であり、合焦レンズ駆動部(フォーカスモータ)、ズームレンズ駆動部、およびマウントされたレンズの種別などを読み出すレンズ情報読み出し(計測)部などから構成される。
4はイメージセンサであり、典型的なCCDなどの固体撮像素子が用いられる。5は撮像パラメータ計測制御部であり、ズーム制御部51、合焦状態検出部52a、フォーカス制御部52b、シャッタ速度制御部53、絞り計測制御部54、画像信号特性パラメータ(ガンマ、ニー、ホワイトバランス補正、CCDなどの蓄積時間)の特徴量(例えばガンマについては補正係数など)検出部55などを含む。
シャッタ速度制御部53は図示しない機械的シャッタの制御を行うもので、電子シャッタを用いる場合、後述するセンサ駆動回路18で実質的なシャッタ速度(電荷蓄積時間)を制御する。合焦状態の検出は映像信号を用いた検出方式、赤外線を用いた測距方式のいずれでもよい。6は画像記録再生部であり、撮影時に記録媒体(テープ媒体、光(磁気)ディスクなどのディスク媒体、あるいはICメモリカードなどのICメモリ媒体など)に所定のフォーマットでディジタル記録を行う。尚、記録媒体または画像記録再生部6はカメラ本体と着脱可能に設けてもよい。また、記録媒体には被写体抽出モードでの撮像動作手順プログラムおよび必要データなどを書き込んでおき、その情報に基づいて撮像を行うように制御してもよい。
画像の再生時、ビューファインダ(EVF)7または後述するデータ転送部12に画像データを出力する。8は撮像パラメータ記憶部であり、レンズモータ駆動部3からのレンズ情報、撮像パラメータ、画像信号特性パラメータおよびストロボ発光の有無、スキャニングなどの意図的なカメラ操作(運動)、手ぶれの有無などを含む撮像時の情報を記録する。これらの情報は外部制御、マニュアル操作、内蔵プログラムによる自律制御のいずれの場合にも記録され、後で同一撮像条件を再生するために用いられる。
尚、カメラ操作(スキャン、パンなど)情報については映像信号処理により検出してもよいし、撮像装置に図示しない加速度センサ、あるいはジャイロなどを内蔵させ、その出力データから判定してもよい。
9は被写体抽出、追跡、識別などのための撮像モード設定スイッチであり、このスイッチが設定されると、スイッチの投入に続く図示しないシャッタボタンなどからの撮像開始動作信号により同撮像モードによる画像取り込みが行われる。尚、撮像開始用スイッチは撮像モード設定スイッチを兼ねるように構成してもよい。
10は外部からのコマンドデータ通信制御部である。11は出力画像生成部であり、出力先に応じてアナログ/ディジタル画像信号を生成する。例えば、TV受像機にはNTSC信号、またはPAL信号を生成する。さらに、出力機器に応じた濃淡の階調補正、誤差拡散処理、色成分補正処理が行われた画像信号をディスプレイ、プリンタなどに出力してもよい。このような信号の生成、加工の指示は、コマンドデータ通信制御部10を介して外部から行うか、または図示しないカメラの操作パネル上のスイッチなどを用いて行うことができる。
12はデータ転送部であり、図示しない通信インターフェース部、アダプター端子などを含み、外部の表示装置やコンピュータなどに画像データなどを出力する。13は被写体抽出用の領域判別処理部(切り出し画像処理部)であり、複数の撮像条件で得られる画像を後述する方法により背景領域と被写体領域との判別、画像の切り出し等を行う。
14は画像取り込み信号発生部であり、露光条件、撮像条件の制御状態のチェック、イメージセンサ(CCD)での電荷蓄積・転送時間、および画像記録再生部6での画像の書き込み制御信号のタイミングなどを自動的に考慮して、適切な撮像の取り込みを行う。
15は複数の撮像条件の設定部としてのシステム制御部であり、コマンドデータ通信制御部10、撮像モード設定スイッチ9からの信号、あるいは画像記録再生部6の記録媒体に書き込まれた制御プログラムの情報を読み込むことにより被写体抽出モードでの一連の撮像動作用制御信号を発生する。
16は絞りである。17は映像信号処理部であり、前処理回路(サンプルアンドホールド回路、オートゲインコントロール回路、A/D変換回路など)17a、ガンマ補正処理回路17b、その他の映像信号処理回路(ホワイトバランス補正回路、手ぶれ補正回路等を含む)17cから構成される。尚、これらの回路構成は図2に概略的に示したものに限定されない。
18はイメージセンサ4を駆動するセンサ駆動回路であり、電荷蓄積時間、転送タイミングなどを制御する。また、同図において、本実施の形態に特に関係した制御信号の流れを太線の矢印で示している。
本実施の形態では、被写体抽出用撮像モードでは、合焦状態検出部52aからの出力に基づき、合焦用レンズモータ(フォーカスモータ)を駆動し、最適合焦レベル、即ち被写体に最もピントの合った状態においてイメージセンサ4から高解像度画像の取り込みを行った後、続いて直前の合焦レンズモータの駆動方向と同一方向にピントずれが生じるように駆動し、適切な非合焦レベルでの低解像度の取り込みを連続的に行う。
ここで、適切な非合焦レベルとは予め設定され、画像記録再生部6などの記憶部に記憶された値または外部の端末装置21などからコマンド信号により設定された値のことであり、例えば合焦レベルからの割合(合焦値の9割のような数値)に設定される。
また、異なる非合焦レベルで撮像し、画像切り出しの初期データ抽出(粗く切り出された画像データ)のために用いてもよい。
上記連続撮像動作が終了すると、自動的に被写体抽出モードが解除されるか、あるいは撮像モード設定スイッチ9により標準モードへの復帰設定がなされる。尚、上述した撮像モードの設定および解除などの操作は端末装置21からのコマンド入力により行ってもよい。
図3はピント制御による複数の撮像条件での撮影を行う場合の焦点信号とフォーカスレンズの撮像位置との関係を模式的に示したグラフである。初期位置からフォーカスレンズを駆動し、一旦、合焦レベルを検知して撮影した後、所定量フォーカスレンズを駆動して許容範囲内でのピントずれ画像を取り込むことが示されている。
図4はカメラおよび端末装置が接続された基本の撮像システムにおいてそれぞれの機能を示す説明図である。図中、太線の枠で示される機能(ステップS51、S52、S54、S58、S60、S61)は端末装置21のものであり、破線で示される機能(ステップS57、S59、S62)はカメラまたは端末装置のいずれかのものである。その他はカメラ内の機能(ステップS53、S55、S56)である。これらの機能を順に以下に説明する。
まず、端末装置21はカメラ1との通信セッションを確立する(ステップS51)。カメラ1に対して被写体抽出用撮像モードの設定コマンドを送信する(ステップS52)。
この段階では、基本制御プログラムが作動する(ステップS53)か、または制御すべき撮像パラメータ、撮像条件の制御量、撮影枚数、およびカメラ内部での処理範囲(例えば、切り出し処理のための差分データ算出などの前処理まで、複数の撮像条件での撮影のみなどのように指定される)などを端末装置21から入力して設定する(ステップS54)かのいずれかを選択する。これは、端末装置21の表示装置26に表示されるメニューなどから選択すればよい。
尚、基本制御プログラムには、これらの条件が予め標準的に設定されている。複数の撮像条件設定による撮像時(ステップS56)には、設定されたパラメータに基づく撮像条件の制御とその時の撮像パラメータ(レンズデータ、焦点距離、倍率、焦点信号、フォーカスレンズ配置、ガンマ制御値、絞り径、電荷蓄積時間など)の記録が行われる。
その後はカメラ内部での処理範囲に応じて、3通りの制御処理手順がある。標準モードに自動復帰する(ステップS57)か、被写体抽出モードでの撮像動作終了後は切り出し条件入力を受ける(ステップS58)か、あるいは予め設定された標準条件で切り出し処理を行う(ステップS59)。
処理終了後、切り出し画像をカメラ本体内の画像記録再生部6に記録するか、外部メモリまたは表示装置22に転送する(ステップS60)か、あるいはファインダディスプレイに表示してもよい(ステップS61)。尚、切り出し画像の出力形態は予め制御データ入力時または基本プログラムに指定されているものとする。上記処理の後、最終的には標準撮像モードへの自動または手動による復帰(ステップS62)が行われる。
つぎに、イメージセンサ4から取り込まれた各画像の処理過程について詳述する。まず、合焦状態(ピント)を制御して得られる少なくとも2つのセンサからの映像信号に対してそれぞれ映像信号処理部17においてガンマ補正、ホワイトバランス補正などが行われる。
撮像装置内部の領域判別処理部13では高解像画像(合焦画像)と低解像画像(非合焦画像)との差分または2つの異なる低解像度画像間の差分データを求め、これらに対して平滑化、2値化、細線化の処理を行う。
尚、差分以外の処理については、端末装置21からコマンドデータ通信制御部10を介して適切な処理パラメータを入力して行ってもよい。
非合焦度の異なる低解像度の複数画像を用いる場合、空間周波数の高い成分がカットされ、それらの差分データから特定対象の輪郭線を抽出する際、余分な孤立特徴点または孤立領域の影響を抑制することができる。従って、ノイズや背景部の高い空間周波数成分、あるいは照明条件に左右されずに精度の安定した初期データ(輪郭線)を得ることができる。尚、差分によって負となる画素の出力値は値0に設定するか、あるいは各画素での差分の絶対値を出力してもよい。
つぎに、後続する初期データ(輪郭線)抽出処理について説明する。この処理はカメラ1に接続された端末装置21においても行うことができるが、カメラ内部での演算処理については標準処理モードとして登録しておくか、コマンドデータ通信制御部10を介して端末装置21などから指定することもできる。典型的にはカメラ内部での標準処理として複数の撮像条件の画像間の差分算出および2値化処理または差分算出および平滑化処理などのように基本制御プログラムに設定される。
撮像条件の制御により得られる画像間の比較(差分)データ算出後の平滑化処理は、孤立特徴(不定形の同一輝度または色を有する局所領域、ラインセグメントなど)の除去およびガウシアンフィルタ等との畳み込み演算、あるいは一般的なローパスフィルタ処理などによって行われる。その後の2値化処理の閾値の設定には、大津の方法(電子情報通信学会論文誌、vol.J63,pp. 349−356,1980)、あるいは画像を適切なサイズのブロックに分割した後、局所的な画像データ(輝度、色など)の統計処理(平均、分散値、ヒストグラムからの仮説検定など)に基づいて設定する方法などを用いればよい。
また、本実施の形態では、領域判別処理部13において合焦状態を連続的に制御して得られる3つ以上の複数画像間の差分データ(複数ある)の平均化処理を行い、その結果に対して切り出すべき画像の初期輪郭線抽出処理(平滑化、2値化、細線化処理など)を行ってもよい。
このためには合焦状態検出部52aからの出力に基づき、レンズモータを高速駆動して最適合焦値を含む前半(前ピン)または後半(後ピン)、あるいは前ピン、後ピン両方を含む静止画像を少なくとも3枚、所定の時間間隔で連続撮像し、画像記録再生部6に保持する。典型的には合焦検出による画像取り込み後、複数の非合焦画像を所定枚数だけ連続撮影する。
この場合、イメージセンサ4からの信号は映像信号処理部17を介さずに直接、キャッシュメモリなどの一時記憶部(図示せず)に高速切替転送部(図示せず)などにより転送記録される。複数撮像条件による撮像、即ち一時記憶部への画像書き込みの終了後は順次転送して映像信号処理と画像切り出しに必要な前処理などを行う。
尚、高速切替転送部はこのとき、領域判別処理部13に直接転送してもよい。このようにイメージセンサからの映像信号に対して通常行われる非線形処理を施さないことにより撮像時の照明条件の変化、被写体の運動などの影響を抑止して処理精度の安定化をもたらすことができる。
また、映像信号処理を一連の画像取り込み後に行うことにより、撮像動作の高速化と切り出し処理の安定化、柔軟性の向上をもたらすことができる。尚、時系列的に撮像する際、直前の画像データと平均化処理により更新された差分データのみを一時的に保持してもよい。また、初期輪郭線抽出処理に使う画像の枚数を予めNと指定すると、合焦過程においてN以上の画像取り込みがなされる場合、最新のN枚画像を保持し(古い順に消去)、しかる後、差分データの算出と平均化処理を行ってもよい。本実施の形態のように複数の合焦状態の僅かに異なる画像間の差分データを平均化することによりノイズの影響を抑制し、精度、分解能の高い画像抽出を実現できる。
図5は画像データの処理過程を示す説明図である。同図(a)はピントの合った画像、同図(b)はピントずれを起こした場合の画像を模式的に強調した図、同図(c)はユーザが同図(a)の画像を表示装置26上で確認しながら抽出被写体内の一点を指示した場合に設定された局所領域を示す。
同図(d)は同図(a)、(b)の差分画像データから局所領域内において平滑化、2値化、細線化を行い、さらに輪郭線追跡処理を行った結果得られる初期輪郭線内の画像を示す。尚、図示しないが、差分画像データを求める際、上述のように合焦度が異なり、かついずれもピントずれのある画像2枚を用いてもよい。また、平滑化、2値化を行わずに輪郭線追跡処理のみを行ってもよい。
図6および図7は画像抽出処理手順を示すフローチャートである。まず、撮像システムを初期化し(ステップS1)、ネットワーク上に接続された機器を待機状態にする。この初期化は通常、端末装置21側で行う。
つぎに、撮像動作から出力動作までの制御を行う機器を選択する(ステップS2)。制御機器が端末装置21であるか否かを判別し(ステップS3)、制御機器が端末装置21である場合、始めに待機状態で受信データまたはコマンドの有無チェックを行い(ステップS4)、受信データが無い場合、動作を行う撮像装置1を指定する(ステップS5)。
ユーザが表示装置22上に表示された初期メニューパネルから被写体抽出モード設定を選択すると、撮像装置1に対して被写体抽出用撮像モード設定コマンドが送信される(ステップS6)。撮像装置1ではこのコマンドを受信すると、被写体抽出のための標準データセットを備えた基本制御プログラムをシステム制御部15に内蔵するメモリ(ROMなど)から読み出す。
本実施の形態では、標準データセットとは、制御用撮像パラメータ(ピント)、撮像枚数、制御される撮像パラメータの許容範囲(本実施の形態では合焦レベルに対する比などで与える)、画像データ出力先(端末装置またはカメラ本体のメモリなどで与える)等の項目からなる。尚、この基本プログラムは画像記録再生部6内の記録媒体から読み出してもよい。
このとき、標準データの内容を示してユーザに対して標準データの変更有無を促すメッセージを表示し、それらの変更を必要ならばここで行う。そして、前述した方法で複数の撮像条件の設定制御と切り出しのための前処理(複数画像間の比較データなど)を行う(ステップS7)。
つぎに、撮像装置1からの画像を表示装置26の画面上に表示し、抽出すべき被写体をユーザに選択させる(ステップS8)。即ち、マウスなどのポインティングデバイス23で、例えば被写体内部と背景との境界付近の点を指示する(クリックする)。この場合、撮像時の画角露光条件を適切に設定することが望ましい。そこで、この段階での撮像条件の適正判断(例えば、被写体が適切な露光条件で撮像されること、抽出すべき領域の全体が存在すること、サイズが十分に大きいことなど)を行い(ステップS9)、問題なければ領域判別と切り出し処理に入る(ステップS11)。
適切でない場合、ズーミング、撮像装置1の姿勢変更、その他の撮像パラメータの変更を画像データに基づいて自動的に行う(ステップS10)。例えば、指示された点を中心とする所定領域での測光と露光条件設定、類似する画像属性を有する領域面積の算出とその画面内に占める割合が一定値以上となるようなズーミング制御を行ってもよい。
対話的な指定方法としては、複数の点を指示して被写体の概略の領域を指示するか、あるいは被写体を囲む領域の形状、サイズを指定し、例えば矩形または楕円状領域をユーザが被写体画像上でマウスでその位置のポイント指示を行うか、または一方向にスキャンニングすることによりその長さに応じたサイズの所定形状領域を半自動設定してもよい。
しかる後、その領域を中心としたズーミングおよびフォーカシング動作を行い、合焦レベルを判定してから非合焦レベルでの前述したような撮像と差分データの算出、および被写体領域の抽出のための前述した境界上の輪郭線追跡処理までを行う。
切り出し処理終了後は抽出データを記録するか否かを選択し(ステップS12)、記録する場合、場所を指定し、データを書き込む(撮像装置1の内部の記憶部、端末装置内部の記憶部、ステップS13)。また、この段階で画像記録しない場合も含め、つぎに抽出画像の編集(他の画像との合成など)を端末装置1のマウス23を用いて行う(ステップS14)。さらに、出力機器(プリンタ、ディスプレイなど)の特性に応じて人間の視覚特性に合わせた画像データの変換処理(ステップS15)を行ってから表示してもよい(ステップS16)。
受信データの有無チェック(ステップS4)の際、撮像装置1からデータ送信があった場合、あるいは被写体抽出モードの撮像制御プログラムなどを内蔵した記録媒体が端末装置1に装填された場合について説明する。
送信機器を判別し(ステップS17)、画像データと共に撮像モードの読み出し(標準、被写体抽出モードなど)を行う(ステップS18)。ここで、撮像モードを同一条件として被写体抽出での撮像と切り出し処理を行うか否かを判別し(ステップS19)、撮像モードを同一条件として被写体抽出での撮像と切り出し処理を行う場合、撮像装置1を指定してステップ7以降の処理を実行する。
そうでない場合、切り出し処理を端末装置1で行うか否かをユーザに選択させ(ステップS20)、それぞれに応じてステップS11またはステップS12以降を実行する。また、ステップS4で他の端末装置からのコマンドデータを受信した場合、それぞれの要求に応じた処理(ステップS21)を行うことはいうまでもない。
一方、制御機器の選択(ステップS2)の際、撮像装置1が選択された場合、撮像装置1上での操作が第1優先として実行される。外部からの制御コマンドを受けず、基本的にカメラ上のスイッチ操作などで行う場合、ピント状態の異なる複数画像を撮像して画像切り出しの前処理を行うまでの基本処理(ステップS22)の処理手順は以下の通りである。
まず、電源投入後、被写体抽出モードに設定されると、複数の撮像条件設定部において内蔵する撮像条件制御のための標準パラメータ値(例えば、非合焦レベルの範囲、切り出し処理を行うため撮像枚数など)、あるいは基本制御プログラムなどを読み出す。
レンズ情報などマウントされた結像光学系のスペック、種別をレンズモータ駆動部3により検出する。この情報は、ピント制御時にフォーカスモータの駆動量を適切に制御するか、あるいは以前に用いられた撮像条件と同一に設定する際に光学系の種別に応じた設定の高速化を可能とする目的で用いられる。
その後、通常の撮像モードと同様に倍率設定、測光と(自動)露出条件の設定を行い、つぎに被写体に対して最適合焦レベルになるまでフォーカスモータを駆動し、山登り法などに基づいて合焦判断し、被写体にピントの合った画像を撮像する。
フォーカスモータを同一方向に所定幅駆動して、焦点信号レベルを評価し、予め設定した許容範囲内の非合焦レベルであれば、撮像を行う。このとき、撮像枚数をチェックし、予め設定された最大枚数になるまでピント制御と撮像動作を繰り返す。以下、焦点信号レベルの差が小さい複数画像間で差分画像データの抽出を行い、画像切り出し処理を行う。
画像切り出し処理(輪郭線抽出処理)について説明する。ここまではマウスなどで設定した指定点を中心とする一定サイズの局所領域(またはマウスなどで任意の形状に設定した領域)に対しての統計処理に基づいて2値化閾値を設定し、2値化および細線化、輪郭追跡処理をその領域内で行ってもよい。
処理終了後、その端点を中心とする局所領域を自動設定し、同様の処理を繰り返す。この中で細線化は太い処理輪郭線中の代表点を得るための処理であり、従来の画像処理で行われる方式に限定されるものではない。例えば、粗い初期輪郭中の任意の一点から左右上下いずれかの方向に端点を探索し、つぎにその点に隣接する端点を探索して代表点としてもよい。
尚、細線化により近傍領域内で複数のエッジまたは輪郭線が存在する場合、それらをディスプレイに入力画像と重ね合わせて表示し、いずれのエッジをとるかをマウスなどの手段を用いて選択指示することを可能としてもよい。
近傍領域内に単一のエッジのみ存在するか、あるいはユーザによりエッジが選択されると予め設定された方向に輪郭線追跡処理が行われ、そのエッジに連結する細線化像の各点を初期輪郭線のサンプリング点としてそれぞれの位置を逐次記録する。
また、細線化像が分岐構造を有する場合、分岐方向の選択としては分岐前の点の追跡方向と直交方向の輪郭線の画像データ属性(色、輝度、またはそれらの分散など)が連続する分岐方向、分岐前後の方向変化が少ない方向を優先して選択する。この場合、分岐後の各点を中心とする微小領域の画像属性を検出して行う。
他の方法としては、輪郭追跡を中断し、分岐点を中心とする領域を点滅表示するなどして、いずれの分岐をとるかをユーザに選択させてもよい。但し、焦点深度の浅い結像光学系を用いた場合、抽出対象と背景との距離が被写体距離に比べて十分大きい場合、差分画像データに背景と被写体との境界部に分岐構造が出現することを抑制することができることはいうまでもない。
また、2値化、細線化処理により輪郭線が途中で分断された場合、エッジの接続処理を行う。この場合、所定のアルゴリズム(第23回画像工学コンファレンス論文集、pp.67−70,1992など参照)により接続を自動的に行うか、あるいは輪郭追跡の結果として残存する端点に対して表示装置上で点滅表示するか、または他の輪郭線と異なる色表示を行うなど端点であることを明示するように表示を行い、ユーザがそれを確認して接続すべき端点を指示選択部を用いて指示することにより接続してもよい。接続点同士を結ぶ輪郭線としては、直線または輪郭線上の代表点を用いてスプライン補間曲線などを生成してもよい。特に、輪郭追跡後の端点が画像フレーム上にある場合、他のフレーム上の端点と結んでもよい。
上述のように、閉じた輪郭線とその内側の画像データを抽出した後、統計的処理などによる背景領域の除去処理、領域成長法、あるいは動的輪郭処理法などを適用してさらに精緻な画像抽出を行ってもよい。
尚、本実施の形態では、フォーカスレンズ制御によりピント状態の異なる複数画像を処理したが、他の撮像パラメータ(絞り、シャッタ速度など)、撮像条件(露光条件、センサ信号特性など)、あるいはそれらの組み合わせの異なる複数画像を処理して特定被写体の抽出または識別、追跡などを行ってもよい。
[第2の実施の形態]
第2の実施の形態では、前記第1の実施の形態に示した撮像方式と特定被写体画像の抽出原理をコンピュータ端末などに接続されたディジタル複写機に適用した場合を示す。
図8は第2の実施の形態における撮像システムの構成を示すブロック図である。撮像システムでは、通信ネットワークに画像入力部としての複写機27が接続された場合を示す。
図9はディジタル複写機の概略的構成を示す説明図である。画像入力部200は、ズーム、ピント調整機能を有する光学系201、イメージセンサ202、ハロゲンランプなどの照明手段203、フォーカスズームレンズモータ204、可視光分光フィルタ205、制御部206および赤外カット/分光補正フィルタ(図示せず)などから構成される。
プリンタ部220は、画像処理プロセッサ210、半導体レーザ221、感光ドラム222、転写ドラム223、回転現像機224などから構成される。定着機230、給紙部240、トナー供給部(図示せず)、制御プロセッサ250、原稿台260、指示選択部270、データ通信制御部280、操作パネルなどを有する。
また、プリンタ部220の図示しない光学系は、典型的に感光ドラムに近い順に反射ミラー、トーリックレンズ(f−θレンズ)、球面レンズ、ポリゴンミラー、シリンドリカルレンズなどから構成される。
操作パネル290は複写機を被写体抽出複写モード設定用スイッチ291を有する。尚、同モードの設定は、端末装置21のキーボードあるいはペンまたはマウスなどの指示選択部などから行うこともできる。本実施の形態では、同モード設定後、複写すべき領域マスクデータ作成のための画像取り込みを、一旦、行った後、マスク領域のみに対して半導体レーザ221から予め読み取られた画像データの濃淡に応じた出力の光が射出し、感光ドラム222に潜像が形成される。
端末装置21の表示部に通常の複写モードで撮像して得られる画像を表示し、ユーザはそれを確認し、抽出したい被写体の背景との輪郭線上の点またはその近傍を指示する。
つぎに、制御プロセッサ250が撮像パラメータを制御し、異なる撮像条件(例えば、ピント)で画像を取り込み、画像処理プロセッサ210でそれら画像間の差分データを算出する。以下、前記第1の実施の形態と同様の抽出領域の切り出し処理(マスクデータ作成処理)を行うことにより、抽出すべき画像のみが複写される。また、抽出画像をネットワーク上の他の端末装置21あるいは表示装置22に転送して出力してもよい。
また、本発明は上述の構成の一部を結像光学系を有する電子写真方式のファクシミリ装置に適用することもできる。このファクシミリ装置の読み取り部は、照明部、ミラースキャン機構、前記第1の実施の形態と同様に撮像パラメータの制御可能な光学系、およびイメージセンサを有する。
記録部は電子写真方式またはレーザビームプリンタ方式、感熱転写記録方式のいずれを用いてもよい。通信制御部はディジタル回線に対して、例えばG4プロトコル制御、加入回線に対してG3/G2通信制御機能を有する。制御部は符号/復号部を有する。
このファクシミリ装置27は外部の端末装置21と接続され、端末装置21から制御することができる。即ち、通常モードでの撮影後、画像データを端末装置21の表示部に表示する。ユーザは表示部に表示された画像から抽出しかつ転送したい特定被写体を指示することにより上述の方法で画像を抽出する。
尚、上述のピント制御による撮像と特定被写体の抽出と複写は、立体物に適用することにより高精度かつ効率的に行うことができる。この場合、複写機は、立体物の設置台、撮像装置、画像処理プロセッサ、プリンタ部、定着器など通常の複写機の構成要素により構成する。特に、画像入力部200は他の複写機の構成要素から分離し、立体物設置台の上方に設置してもよい。画像処理プロセッサ210で抽出された画像領域を感光ドラムに転写し、最終的に特定被写体のみを複写するまでのプロセスは上述の方法と同様である。
また、紙面などの平面状領域から特定対象画像を抽出するための好適な撮像制御方式として、画像入力部200内の可視光分光フィルタ205の特性をフィルタ制御部206で制御することにより複数の撮像条件で画像を入力し、それらの差分データに基づき、特定被写体領域を抽出し、複写してもよい。
例えば、色調特性が特定のスペクトルに偏在する物体(例えば、全体的に赤い物体など)を抽出する際、そのスペクトルに対して透過率が高くなるように分光フィルタを制御して得られる画像と通常モードで得られる画像とを入力し、それらの差分データに基づく抽出を行う。
他の撮像制御方式として、イメージセンサ202の映像信号特性(ガンマなど)または露光条件(照明光強度、絞りがある場合にその径、走査入力する場合に走査速度など)を制御して得られる複数画像に対して抽出処理を行ってもよい。
この場合、特に複数画像データ間で正規化処理(例えば、最大輝度レベルが同じになるように輝度値をスケーリング変換する)をした後に両画像間の差分データを算出し、前述した方法と同様に切り出し処理を行うことが望ましい。
[第3の実施の形態]
第3の実施の形態では、既に説明した特定被写体の抽出原理を他の密着型イメージセンサ(CCD素子など)を有する画像入力機器(画像スキャナ、ファクシミリ装置など)に適用した場合を示す。ここでは、簡単のためにファクシミリ装置に適用した場合を示す。
図10は画像入力機器の概略的構成を示す説明図である。本体300は、端末装置21と接続されており、原稿350は密着型イメージセンサ310により光電変換されて画像情報が読み取られる。
本実施の形態では、イメージセンサ310をそのセンサ面と略直交方向に微動させる駆動制御機構320を有し、これにより通常モード(高解像度画像入力モード)での原稿画像入力とピントずれの生じた画像入力を行う。
同微動制御機構320の駆動部として、圧電素子またはボイスコイルモータなどが典型的に用いられる。尚、モデム370を介して転送された画像データは他のファクシミリ装置と同様、記録部(熱ヘッドなど)330により記録紙360に転写される。画像処理ユニット340では、イメージセンサ310からの出力を基に文字領域と画像領域とに分割し、前記第1の実施の形態で説明した方法に基づき、画像領域の予め指定された特定の図形要素、あるいは特定被写体領域を抽出する。
具体的には通常のセンサ面位置において画像の走査、読み取りを行い、第1の画像データを取り込み、つぎにセンサ面を微動させることによりピントずれ状態で同画像領域の走査、読み取りを行い、第2の画像データを得る。さらに、第1、第2画像間の差分データに対して前記第1の実施の形態に示したように被写体の輪郭抽出および切り出し処理を行う。
制御プロセッサ380は、画像の読み出し、被写体抽出、密着センサ位置の駆動制御、熱ヘッド記録、紙送りなどの制御を統括するが、端末装置21からの制御コマンドによる制御も可能とする。
[第4の実施の形態]
第4の実施の形態では、撮像装置は赤外線通信機能を有する安価でかつ小型の無線通信制御手段を具備する。カメラ内部のその他の構成要素は前記第1の実施の形態と同様である。
また、端末装置においても通信制御部を内蔵させることにより、撮像装置の被写体抽出用撮像モードの設定信号、撮像パラメータ制御データ、切り出し画像データなどの送受信を行う。変調方式、符号化方式、データ伝送速度、データフォーマット、通信プロトコルなどによって規定される通信方式は特に限定しないが、典型的にはIrDAの定める方式が用いられる。この場合、相互に数メートル(標準的には1m)以内の距離で1対1の双方向通信であることが前提となるが、原理的には1対多通信(1つの撮像装置および多数の端末装置間の通信、1つの端末装置と多数の撮像装置間の通信)が可能である。
通常、相手との通信開始時に最初に9600ビット/秒の速度でセッションを確立し、このときに両者が対応可能な最高の伝送速度を調べ、以後はその速度で通信する。
また、データの送信権を5msから500ms毎に交換して半2重通信を行う。端末装置から特定の撮像装置との通信セッションを確立すると、それぞれの種別(撮像装置または端末装置)、使用者のID番号などを互いに送受信することにより、撮像装置は遠隔操作による撮像待機状態となる。
この場合、カメラの操作パネルディスプレイに通信制御モードであることを示す表示がなされるようにしてもよい。これ以降、被写体抽出用撮像モードの設定から取り込まれた画像データの転送または記録までの過程は、前記第1の実施の形態と同様である。尚、同じ通信方式を採用する通信機器を通じて制御データまたは適切に圧縮符号化された画像データを公衆網またはISDNなどの回線に接続して遠隔地へ転送することもできる。また、撮像装置の操作パネルと同様の操作パネルを端末装置の表示パネル上に表示し、タッチパネル方式で手またはペン入力によりカメラ操作情報を撮像装置に送ってもよい。