JP3738087B2 - 動画像のプリント方法及び画像処理方法 - Google Patents
動画像のプリント方法及び画像処理方法 Download PDFInfo
- Publication number
- JP3738087B2 JP3738087B2 JP23817496A JP23817496A JP3738087B2 JP 3738087 B2 JP3738087 B2 JP 3738087B2 JP 23817496 A JP23817496 A JP 23817496A JP 23817496 A JP23817496 A JP 23817496A JP 3738087 B2 JP3738087 B2 JP 3738087B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- moving
- face
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像からプリント対象画像を特定してこれのデータに基づきプリントする動画像のプリント方法及び画像処理方法に関するものである。
【０００２】
【従来の技術】
８ミリビデオカメラやビデオレコーダー等で記録された動画像を、ビデオプリンタ等を用いてプリントすることが行われている。この場合には、モニターに動画像を再生してこれを確認しながら、プリント対象のシーンに対してフリーズキーを操作することで、フレームメモリに動画像の１フレーム分の画像データを取り込み、この画像データに基づきプリントしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、動画像データから１フレーム分の画像データを取り出して、この画像データに基づき単にプリントする場合には、画像データが他のスチールカメラ等で得られた画像データに比べて解像度が低いことや、ノイズ等の影響により、画質が不十分となり、満足のいくプリントを作成することができないという問題がある。また、８ミリビデオカメラ等で撮影された動画像データから１フレーム分の画像データを取り出す場合には、通常シャッタ速度が電子スチールカメラ等よりも低く設定されているので、動画像がぶれた状態になっており、このままプリントすると、動画像のぶれが目立ってしまい、画像品質が低下するという問題がある。
【０００４】
本発明は上記課題を解決するためのものであり、動画像データを画像処理する際にまたは動画像データからプリントを作成する際に、全体の画像品質が低下することがないようにした動画像のプリント方法及び画像処理方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像のプリント方法は、動画像中のプリント対象画像とこのプリント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像における各部を静止領域と動領域とに分け、前記プリント対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として抽出し、または、プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を抽出し、前記動領域と前記顔候補領域とが重なりあっている領域を顔領域と判定し、顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うようにしたものである。また、動領域におけるプリント対象画像データに基づき顔候補領域の抽出処理を行ってもよく、この場合には顔候補領域の抽出処理の演算負荷が小さくなる。なお、前記静止領域に対する画質改善処理は、プリント対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとすることが好ましい。また、前記動領域に対する画質改善処理は、プリント対象画像の画像データを用いて平滑化処理、又は強調化処理することが好ましい。また、顔領域に対する画質改善処理は、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節したり、プリント対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるように調節したりすることが好ましい。
【０００７】
【作用】
動画像中のプリント対象画像とこのプリント対象画像のｎコマ前又はｎコマ後の参照画像の各データがフレームメモリにコマ単位で取り込まれる。これらプリント対象画像データと参照画像データとに対して局所的マッチング処理が行われる。この局所的マッチング処理によりプリント対象画像データと参照画像データとが一致する場合には静止領域と判定される。また、不一致の場合には動領域と判定される。これら静止領域と動領域とに対しては異なる画質改善処理が行われる。
【０００８】
静止領域と動領域とに分けた後に、顔候補領域が抽出される。顔候補領域は、例えばプリント対象画像データから人物の肌色を特定する色及び濃度を持つ画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、顔候補領域とされる。また、顔の輪郭、頭部、人物胴体、目や口、眉等の顔内部構造の形状を検出することで、顔候補領域を特定してもよい。そして、動領域と顔候補領域とが重なりあっている領域が顔領域と判定される。静止領域と動領域との判別処理と、顔候補領域抽出処理とは、並行処理してもよく、あるいは順次処理してもよい。順次に処理する場合には、動領域のプリント対象画像データに基づき顔候補領域を抽出することで、抽出処理対象領域が動領域に限定されるため、顔領域の抽出が効率良く行える。
【０００９】
これら顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理が行われる。画質改善処理として、静止領域には、プリント対象画像と参照画像との同じ位置にある画素データを加重平均することが行われ、これによりランダムノイズが除去される。また、前記動領域に対しては、プリント対象画像の画像データを用いて平滑化処理が行われ、動領域内の画像をぼかすことで、人物等のぶれが目立たなくされる。顔領域に対しては例えば強調処理が行われる。また、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように、画像全体又は顔領域のみのプリント濃度及び色が調節される。
【００１０】
また、プリント対象画像データと参照画像データとに対して位置を２次元的にずらしながら局所的マッチング処理が行われる。そして、その相違度が最も小さくなるずらし位置のブロックを関連付けし、この関連付けにより画面全体にわたり動きベクトルが求められる。この動きベクトルに基づきカメラが移動中か、ズーミング中かが判定される。そしてこの判定結果により、カメラの挙動に基づき画面全体の動きをキャンセルする補正動きベクトルが求められる。そして、この補正動きベクトルの大きさが所定値内であれば静止領域と判定され、残りの領域が動領域とされる。これら静止領域と動領域とに対して異なる画質改善処理が行われる。
【００１１】
【発明の実施の形態】
図１は、本発明を実施したビデオプリンタの機能ブロック図である。このビデオプリンタ１０は、画像入力部１１と、画像処理部１２と、プリント部１３とから構成されている。
【００１２】
画像入力部１１には、例えば８mmビデオカメラ１４の映像出力が入力される。画像入力部１１はＹ／Ｃ分離回路１６及びデコーダ１７を備えている。Ｙ／Ｃ分離回路１６は、ビデオカメラ１４からのＮＴＳＣ信号を輝度信号（Ｙ）と色信号（Ｃ）とに分離する。デコーダ１７は、輝度信号（Ｙ）と色信号（Ｃ）とを赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色信号に変換し、Ａ／Ｄ変換器１８とセレクタ１９とに送る。なお、映像出力は８mmビデオカメラ１４のものに限定されることなく、ビデオテープレコーダ，テレビ，パソコン等からのものであってもよい。また、映像出力はＮＴＳＣ信号に限定されることはなく、Ｒ，Ｇ，Ｂのデジタル信号等であってもよい。
【００１３】
セレクタ１９は、通常再生モードでは端子（ａ）側にセットされており、フリーズモードでは端子（ｂ）側にセットされている。セレクタ１９が端子（ａ）側にセットされると、画像データはエンコーダ２０を介してカラーモニタ２２に送られ、このカラーモニタ２２に再生中の画像が表示される。このカラーモニタ２２の画像を観察して、プリント対象画像を特定する。この特定はキーボード２５のフリーズボタンを押すことにより行われる。キーボード２５はシステムコントローラ２６に接続されており、このキーボード２５から各種指令の入力が行われる。システムコントローラ２６は周知のマイクロコンピュータから構成されており、各部をシーケンス制御する。このシステムコントローラ２６には液晶ディスプレィ２７が接続されており、各種モードの表示や指令が表示されるようになっている。なお、液晶ディスプレィ２７を用いる代わりにカラーモニタ２２に各種モードや指令等を表示してもよい。
【００１４】
デコーダ１７からの三色画像データはＡ／Ｄ変換器１８でデジタル化され、システムコントローラ２６によって、画像の再生中にリアルタイムで表示画像がフレームメモリ２８に送られる。フレームメモリ２８は、プリント対象用フレームメモリと、２個の参照用フレームメモリとから構成されており、各フレームメモリにはＲ，Ｇ，Ｂの各色ごとに画像データが記憶される。参照用フレームメモリには、プリント対象画像の１秒前と１秒後の画像が記憶されるが、この参照対象画像は１秒前又は１秒後に限定されるものではなく、キーボード２５から参照画像の採取間隔を適宜設定することができる。この採取間隔は、時間により特定する他に、フレーム数によって特定してもよい。
【００１５】
フリーズボタンにより特定されたプリント対象画像と参照画像の画像データは、フレームメモリ２８に書き込まれる。キーボード２５の操作によりフリーズ画像の表示が選択されると、セレクタ１９が端子（ｂ）側にセットされ、Ｄ／Ａ変換器２９，エンコーダ２０を介して、書き込まれたプリント対象画像のデータはカラーモニタ２２に送られる。これにより、カラーモニタ２２にプリント対象画像が表示される。このプリント対象画像をカラーモニタ２２で確認した後、キーボード２５からプリントスタート信号が入力されると、システムコントローラ２６は、このフレームメモリ２８からプリント対象画像と参照画像との画像データを画像処理部１２に送る。
【００１６】
画像処理部１２では、まずマッチング処理部３０により、プリント対象画像と参照画像との局所的マッチング処理が行われる。この局所的マッチング処理は、プリント対象画像と参照画像とをｍ×ｍの分割エリアに分割して、これら各分割エリア毎に各画素に対してプリント対象画像と参照画像との画素間差分の絶対値和を求め、この値が所定の閾値内にある場合に、このブロックを静止領域と判定し、また、所定の閾値から外れる場合に、このブロックを動領域と判定する。なお、絶対値和の他に、画素間差分の二乗和を用いてもよい。静止領域の画像データは、静止領域加重平均部３１に送られる。また、静止領域を除いた動領域の画像データは、動領域平滑化処理部３２に送られる。なお、画像処理部１２では、この他にガンマ補正、マトクリス補正、文字イラスト合成、拡大／縮小、トリミング等の周知の処理が行われる。
【００１７】
静止領域加重平均部３１では、プリント対象画像と参照画像とにおける同位置の画素データから加重平均値を求め、これを画像合成部３３に送る。加重平均値はプリント対象画像側の画像データに重みをおいて求められ、この重み付け係数は、採取する参照画像の間隔や、入力する画像種別によって、システムコントローラ２６から変更される。なお、加重平均値を求める際には、プリント対象画像の画素値から所定値離れた値を持つ画素を除外しており、異なる被写体の一部が紛れ込むことを防止している。また、プリント対象画像の画素値の代わりに、求めた加重平均値を基準にしてこの値から所定値離れた値を持つ画素を除外するようにしてもよい。
【００１８】
動領域平滑化処理部３２では、プリント対象画像の画像データを用いて、これの動領域をｋ×ｋのブロックに分けて、各ブロックの平滑化処理を行う。この平滑化処理された画像データは、画像合成部３３に送られる。この平滑化処理によって動領域内の画像をぼかす処理が行える。したがって、動領域内で被写体が動いて画像が流れている場合にこれがぼかされることで、画像の流れを目立たなくすることができ、プリントの全体的な品質を上げることができる。
【００１９】
画像合成部３３では、静止領域加重平均部３１からの静止領域の画像データと、動領域平滑化処理部３２からの動領域の画像データとを画像合成する。この画像合成により得られた１フレーム分の画像データは、プリント用フレームメモリ３５に書き込まれる。
【００２０】
プリント部１３はプリント用フレームメモリ３５とプリンタ３６とから構成されている。プリンタ３６は、プリント用フレームメモリ３５から、画像データを読みだして、これに基づき光ビームを変調し、銀塩写真カラー感光材料（カラーペーパー）のイエロー、マゼンタ、シアンの各感光層を走査露光する。なお、光ビームを変調する代わりに、サイズが極めて小さいミラー（マイクロミラー）をライン又はマトリクスに配列し、各マイクロミラーの傾斜角を制御して入射光を偏向するマイクロミラー装置を用いて、走査露光してもよい。更には、液晶パネルやＣＲＴを用いてもよい。周知のように、カラーペーパーとして、ネガ・ポジタイプのものを用いる場合には画像データはポジ・ネガ変換される。このポジ・ネガ変換は、プリント部１３で行う他に、画像処理部１２で行ってもよい。なお、プリント用フレームメモリ３５から画像データを読み出して、これをカラーモニタ２２にシミュレート表示してもよい。
【００２１】
次に、図２を参照して、上記実施形態の作用を説明する。まず、フリーズボタンの操作により、プリント対象画像とこれの１秒前及び１秒後の画像である参照画像がフレームメモリ２８に記憶される。
【００２２】
次に、画像処理部１２のマッチング処理部３０でフレームメモリ２８のプリント対象画像データと参照画像データとに基づき、動領域と静止領域とが判定される。そして、この判定結果に基づき、プリント対象画像の静止領域における画像データと、参照画像の静止領域における画像データとは、静止領域加重平均部３１に送られ、ここで加重平均される。また、マッチング処理部３０における判定結果に基づき、プリント対象画像の動領域における画像データは動領域平滑化処理部３２に送られ、ここで平滑化処理される。
【００２３】
次に、画像合成部３３で、静止領域加重平均部３１からの静止領域画像データと、動領域平滑化処理部３２からの動領域画像データとが画像合成され、この画像合成データがプリント部１３のプリント用フレームメモリ３５に書き込まれる。そして、プリンタ３６により、画像合成されたデータに基づきプリントが行われる。したがって、本実施形態では、静止領域に対してはフレーム間で加重平均値を求めるので、ランダムノイズを軽減することができる。また、動領域に対しては平滑化処理してぼかす補正を行うので、被写体がぶれている場合にこれを目立たなくすることができる。なお、動領域に対しては平滑化処理してぼかす代わりに、ＵＳＭ（アンシャープマスク補正）を行って画像を鮮鋭化してもよい。
【００２４】
なお、上記実施形態では、撮影中のビデオカメラの移動やズーミング撮影が無いことを前提にした処理であるが、この他にビデオカメラを移動しての撮影（カメラ移動撮影）やズーミング撮影が行われた場合には、次のような動き補償処理を行ってプリント処理を行う。この動き補償処理は、上記実施形態における静止領域の全画面に対する割合が小さい場合、例えば１０％以下の場合に行われる。
【００２５】
この動き補償処理では、図３に示すように、プリント対象画像と参照画像とをｍ×ｍの分割エリアに分けて、参照画像の各分割エリアの位置を２次元的にずらしながら、プリント対象画像の各分割エリアとの局所的マッチング処理を行う。そして、その相違度が最も小さくなるずらし位置の参照画像の分割エリアをプリント対象画像の分割エリアに関連付けし、この関連付けにより画面全体にわたりプリント対象画像の分割エリアに対する参照画像の分割エリアの動きベクトルを求める。この動きベクトルに基づき移動撮影かズーミング撮影かを判定する。
【００２６】
前記動きベクトルの方向が全体的に揃っている場合には、プリント対象画像をカメラ移動撮影シーンと判定する。なお、動きのある被写体は、上記動きベクトルとは異なる動きベクトルを示すことが多いが、この被写体の動きは画面全体での比率からすると小さいため、これを無視することができる。このカメラ移動撮影シーンの場合には、動きベクトル分だけ参照画像をずらし、このずらした位置の参照画像とプリント対象画像とに基づき上記実施形態と同じようにして、静止領域と動領域とを判定し、これら静止領域と動領域に対し異なる処理を行う。
【００２７】
また、動きベクトルの方向が全体的に揃っていない場合には、ズーミング撮影シーンか否かを判定する。まず、全画面の動きベクトルについて平均ベクトルを求める。そして、この平均ベクトル分だけ各分割エリアの動きベクトルから差し引いて、補正動きベクトルを算出する。この補正動きベクトルの方向が、全体的に中心部から放射状に並んでいる場合に、カメラをズームミングしながら撮影した画像であると判定する。また、この場合に、全画面的には、補正動きベクトルを平均した平均ベクトルの大きさは「０」に近い値になるので、これも参照することで、ズーミング撮影か否かの判定精度を上げることができる。
【００２８】
この判定結果に基づき参照画像の画面全体の動きをキャンセルした補正動きベクトルを求める。この補正動きベクトルの大きさが所定値内であれば、この参照画像の分割エリアに対応するプリント対象画像の分割エリアの集合を静止領域と判定する。この静止領域に対しては、上記実施形態と同じように、フレーム間で加重平均値を算出する。このフレーム間における加重平均値の算出は、前後のコマにおける動き補償結果に基づき関連付けされた分割エリア同志で行う。また、静止領域を除いた他の分割エリアの集合を動領域と判定する。この動領域に対して上記実施形態と同じように平滑化処理を行う。
【００２９】
なお、シーンの動きを判定する場合に、全画面を多数個の分割エリアに分割してこれら分割エリアの動きベクトルを求める他に、画面周辺部に限定してこの画面周辺部を多数個の分割エリアに分割し、この画面周辺部に対して、シーンの動き判定を行ってもよい。この場合には、演算対象領域が全画面の場合に比べて狭くなるため、演算処理を効率良く行うことができる。そして、この画面周辺部による動き判定結果に基づき、周辺部と同じ大きさで分割した中央部の各分割エリアについて動きベクトルを推定し、これに基づき上記実施形態と同じようにして各種処理を行う。また、カメラ移動撮影とズーミング撮影とを判定した後に、カメラ移動撮影ではフレーム間平滑化処理を行い、ズーミング撮影ではフレーム内平滑化処理を行うようにして、判定結果に応じて異なる処理に分岐させてもよく、この場合には、シーンの動きにあった画像処理が行えるようになる。
【００３０】
次に、図４及び図５に示すように、静止領域と動領域との判定結果と、静止画用人物の顔領域抽出アルゴリズムとを組み合わせて人物の顔領域の抽出を行い、この顔領域の画像データに重きをおいてプリントを行う実施形態について説明する。動画像において、人物の静止状態が所定時間以上続くのは確率的に低い。したがって、人物が動領域に含まれる可能性が高い。また、静止画用人物の顔画像アルゴリズムにおいては、人物の肌色を特定する色及び濃度を有する領域を顔画像と判定するので、壁、地面等の人物以外の被写体であっても肌色と同じ色及び濃度の場合には人物の顔画像と誤判定するおそれがある。そこで、人物の顔領域抽出アルゴリズムにおいて、人物の顔候補領域であり且つ動領域である条件を加えることで、人物の顔領域である可能性はさらに高くなり、顔領域の抽出性能を上げることができる。また、顔候補領域に代えて、顔の輪郭、頭部、人物胴体、目や口、眉等の顔内部構造の形状を検出することで、顔候補領域を特定してもよい。更には、人物の肌色を特定する色及び濃度に基づく顔領域抽出アルゴリズムと、顔の輪郭などの形状検出に基づく顔領域抽出アルゴリズムを併用してもよい。
【００３１】
図４はこの処理手順を示すフローチャートであり、まず動画像データからプリント対象画像と参照画像との画像データを取り込む。この取り込んだ画像データに基づき図２と同じようにして動領域と静止領域とが判定される。この静止領域に対しては、図２の静止領域加重平均部３１と同じようにして加重平均値が算出される。
【００３２】
また、この動領域と静止領域との判定と並行して、プリント対象コマの画像データに基づき顔候補領域抽出処理が行われ、顔候補領域が抽出される。そして、この顔候補領域と動領域とのアンドをとることで、顔領域を判別し、それ以外の領域を非顔領域と判別する。非顔領域に対しては、図１に示す動領域平滑化処理部３２と同じようにプリント対象画像の画像データに基づき平滑化処理が行われる。また、顔領域に対しては、強調処理が行われる。なお、この強調処理に代えて、顔領域の濃度及び色が予め特定された濃度及び肌色になるようにデータ変換してもよい。次に、静止領域、非顔領域、顔領域の各画像データが合成された後に、プリント処理される。
【００３３】
図５は図４における画像データの一例を示すものであり、（Ｂ）はプリント対象画像を、（Ａ）はプリント対象画像の１秒前の参照画像を、（Ｃ）はプリント対象画像の１秒後の参照画像を示すものである。フリーズボタンを押して画像データの取り込みを行うと、プリント対象画像（Ｂ）とこれの１秒前の参照画像（Ａ）と１秒後の参照画像（Ｃ）とがフレームメモリ２８に取り込まれる。
【００３４】
（Ｄ）は静止領域ＳＡの抽出結果を、（Ｅ）は動領域ＭＡの抽出結果を示すもので、プリント対象画像（Ｂ）と参照画像（Ａ），（Ｃ）とに対し、マッチング処理部３０による局所的マッチング処理で抽出されたものである。
【００３５】
（Ｆ）はプリント対象画像に基づき顔候補領域ＦＣＡの抽出処理結果を示すもので、この例では人物画像の他に背景部にも肌色を有する２つの被写体が存在していることが判る。この顔候補領域ＦＣＡの抽出結果（Ｆ）と動領域ＭＡの抽出結果（Ｅ）とのアンドをとることで、顔領域ＦＡの抽出結果（Ｇ）とその他の非顔動領域ＭＮＦＡの抽出結果（Ｈ）とを得ることができる。したがって、プリント対象コマを、静止領域ＳＡと、非顔動領域ＭＮＦＡと、顔領域ＦＡとの３つの領域に分けることができる。このようにして求めた静止領域ＳＡ、非顔動領域ＭＮＦＡ、顔領域ＦＡに対して、各領域に最適な画像処理を施すことで、全体的に仕上りのよいプリントが得られるようになる。
【００３６】
例えば、顔領域ＦＡの画像データに対して、強調処理を加えることで、より一層くっきりした画像に仕上げることができる。また、その他の動領域ＭＮＦＡ及び静止領域ＳＡについては、上記実施形態と同じように処理を行うことで、全体のプリント品質を上げることができる。さらに、人物の顔領域の濃度及び色が適正になるようにプリントを行うことで、主要被写体を適正に仕上げることができ、高品質のプリントを作成することができる。
【００３７】
なお、上記実施形態では、静止領域ＳＡと動領域ＭＡの判別と、顔領域ＦＡと非顔領域ＮＦＡとの判別とを並列で実行し、顔抽出処理で得られた顔候補領域ＦＣＡと動領域ＭＡとのアンドをとることで、顔エリアＦＡと非顔エリアＭＮＦＡとを判別するようにしたが、この他に、図６に示すように、先ず静止領域ＳＡと動領域ＭＡとを判別し、次に動領域ＭＡに対して顔領域抽出処理を行って、顔領域ＦＡと非顔動領域ＭＮＦＡとに判別するようにしてもよい。
【００３８】
また、画像データに対して、周知の画素補完処理を行い、疑似的に解像度を上げるようにしてもよい。補完される画素値の決定方法としては、元画像データとの空間的距離に応じた加重平均を取る方法がある。この場合には、近い画素ほどその重み付け係数を大きくする。この画素補完処理は、静止／動領域判定処理の前段又は後段で行ってもよい。
【００３９】
プリント対象画像の前後コマとしては、連続したコマである必要はなく、一定間隔で取り込んだコマであってもよい。あるいは、コマ間動き検出により、シーンに動きのあった場合に取り込んだコマであってもよい。また、上記実施形態では、プリント対象画像に対して例えば１秒前及び１秒後の画像を参照画像として用いたが、この参照画像は、プリント対象画像に対して前または後の１つの画像としてもよい。
【００４０】
上記実施形態では、静止領域に対して画素データの加重平均値を求めて、この値を静止領域の画像データとし、動領域に対して平滑化処理を行ってぼかすようにし動領域の人物等のぶれが目立たないようにしたが、この他に、各領域に合わせて画像処理の内容及びその制御パラメータを設定してもよい。
【００４１】
上記実施形態では、走査露光によりカラーペーパーにプリントする銀塩式プリンタに実施したが、この他に、カラーサーマルプリンタ、インクジェットプリンタ等の各種のカラープリンタを用いるようにしてもよい。
【００４２】
上記実施形態では、各フレーム間の画像データから動きベクトルを求めて、この動きベクトルからカメラの移動中の撮影と、ズーミング撮影とを検出するようにしたが、この他に、カメラ側でのズーミングスイッチの作動状態を検出しておき、これを撮影情報として画像データとともに記憶するようにしてもよい。同様にして、カメラの動きを検出するセンサを設け、撮影中にカメラの動きを検出して、これを画像データとともに記憶するようにしてもよい。
【００４３】
【発明の効果】
本発明によれば、動画像中のプリント対象画像とこのプリント対象画像に対しｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像を静止領域と動領域とに分けたから、静止領域と動領域とに対してそれぞれの領域に合った異なる画質改善処理を行うことができるようになり、人間の視覚に受け入れやすく処理されることで、プリント全体の画像品質を上げることができる。
【００４４】
また、プリント対象画像を静止領域と動領域とに分け、プリント対象画像データから顔候補領域を抽出し、動領域と顔候補領域とが重なりあっている領域を顔領域と判定したから、プリント対象画像を、顔領域と、顔領域を除いた動領域と、静止領域とに分けることができるので、これら各領域に合った異なる画質改善処理を行うことができるようになり、プリントの全体の画像品質をより一層上げることができる。また、動領域に対してプリント対象画像データから顔候補領域を抽出し、プリント対象画像を、顔領域と、非顔動領域と、静止領域に分けることで、ある程度絞られた動領域に対して顔候補抽出を行うので、顔候補抽出処理を簡単に行うことができる。
【００４５】
また、静止領域に対しては、プリント対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとしたから、ランダムノイズを軽減することができる。また、動領域に対しては、プリント対象画像の画像データを用いて平滑化処理を行うことにより、この動領域をぼかすことができ、動領域におけるぶれを目立たなくすることができる。また、動領域に対しては、プリント対象画像データを用いて強調処理を行うことにより、画像を鮮鋭化することができる。特に、動きが少ない画像の場合には、上記平滑化処理によりぼかすよりも画像品質をあげることができる。
【００４６】
また、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節することで、顔領域に重みをおいた仕上りとなり、プリント品質を上げることができる。また、プリント対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるようにしてもよく、この場合にも顔領域が適正に仕上がるためプリント品質を上げることができる。
【００４７】
プリント対象画像データと参照画像データとに対して位置を２次元的にずらしながら局所的マッチング処理を行って、その相違度が最も小さくなるずらし位置のブロックを関連付けし、この関連付けにより画面全体にわたり動きベクトルを求め、この動きベクトルに基づきカメラが移動中か、ズーミング中かを判定するようにしたから、この判定結果に基づきこれらの動きをキャンセルすることができる。したがって、カメラを移動して撮影したり、ズーミング撮影したりした場合でも、参照画像の画像データを用いることができる。しかも、参照画像の画像データは動きベクトルに基づきこれらの動きをキャンセルした値を用いるから、撮影中にカメラの挙動変化があった場合でも、プリント対象画像の動エリアと静止エリアとを判定することができる。したがって、この判定結果に基づき各領域毎に異なる画質改善処理を行うことにより、カメラ移動中の撮影や、ズーミング撮影におけるプリント対象画像の画像品質を上げることができる。また、画像処理方法においても、上記の動画像のプリント方法と同様にして人間の視覚に受け入れ易く画像処理されることにより、動画像の画像品質を上げることができる。
【図面の簡単な説明】
【図１】本発明を実施したビデオプリンタを示す機能ブロック図である。
【図２】同ビデオプリンタにおける処理手順を示すフローチャートである。
【図３】カメラ移動撮影シーンとズーミング撮影シーンとを自動判定して各シーンに合わせて静止領域と動領域とを判別する他の実施形態の処理手順を示すフローチャートである。
【図４】静止領域・動領域の判別処理と、顔領域の判別処理とを並行して処理する他の実施形態の処理手順を示すフローチャートである。
【図５】動画像データの一例と、この画像データから抽出した静止領域、非顔動領域、顔領域の一例とを示すもので、（Ａ），（Ｃ）は参照画像、（Ｂ）はプリント対象画像、（Ｄ）は静止領域の抽出結果、（Ｅ）は動領域の抽出結果、（Ｆ）は顔候補領域の抽出結果、（Ｇ）は顔領域の抽出結果、（Ｈ）は非顔動領域の抽出結果である。
【図６】静止領域・動領域を判別した後に顔領域の判別を行う他の実施形態の処理手順を示すフローチャートである。
【符号の説明】
１０ ビデオプリンタ
１１ 画像入力部
１２ 画像処理部
１３ プリント部
１４ ビデオカメラ
２８，３５ フレームメモリ
３０ マッチング処理部
３１ 静止領域加重平均部
３２ 動領域平滑化処理部
３３ 画像合成部
ＳＡ 静止領域
ＭＡ 動領域
ＦＣＡ 顔候補領域
ＭＮＦＡ 非顔動領域
ＦＡ 顔領域
【発明の属する技術分野】
本発明は、動画像からプリント対象画像を特定してこれのデータに基づきプリントする動画像のプリント方法及び画像処理方法に関するものである。
【０００２】
【従来の技術】
８ミリビデオカメラやビデオレコーダー等で記録された動画像を、ビデオプリンタ等を用いてプリントすることが行われている。この場合には、モニターに動画像を再生してこれを確認しながら、プリント対象のシーンに対してフリーズキーを操作することで、フレームメモリに動画像の１フレーム分の画像データを取り込み、この画像データに基づきプリントしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、動画像データから１フレーム分の画像データを取り出して、この画像データに基づき単にプリントする場合には、画像データが他のスチールカメラ等で得られた画像データに比べて解像度が低いことや、ノイズ等の影響により、画質が不十分となり、満足のいくプリントを作成することができないという問題がある。また、８ミリビデオカメラ等で撮影された動画像データから１フレーム分の画像データを取り出す場合には、通常シャッタ速度が電子スチールカメラ等よりも低く設定されているので、動画像がぶれた状態になっており、このままプリントすると、動画像のぶれが目立ってしまい、画像品質が低下するという問題がある。
【０００４】
本発明は上記課題を解決するためのものであり、動画像データを画像処理する際にまたは動画像データからプリントを作成する際に、全体の画像品質が低下することがないようにした動画像のプリント方法及び画像処理方法を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の動画像のプリント方法は、動画像中のプリント対象画像とこのプリント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像における各部を静止領域と動領域とに分け、前記プリント対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として抽出し、または、プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を抽出し、前記動領域と前記顔候補領域とが重なりあっている領域を顔領域と判定し、顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うようにしたものである。また、動領域におけるプリント対象画像データに基づき顔候補領域の抽出処理を行ってもよく、この場合には顔候補領域の抽出処理の演算負荷が小さくなる。なお、前記静止領域に対する画質改善処理は、プリント対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとすることが好ましい。また、前記動領域に対する画質改善処理は、プリント対象画像の画像データを用いて平滑化処理、又は強調化処理することが好ましい。また、顔領域に対する画質改善処理は、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節したり、プリント対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるように調節したりすることが好ましい。
【０００７】
【作用】
動画像中のプリント対象画像とこのプリント対象画像のｎコマ前又はｎコマ後の参照画像の各データがフレームメモリにコマ単位で取り込まれる。これらプリント対象画像データと参照画像データとに対して局所的マッチング処理が行われる。この局所的マッチング処理によりプリント対象画像データと参照画像データとが一致する場合には静止領域と判定される。また、不一致の場合には動領域と判定される。これら静止領域と動領域とに対しては異なる画質改善処理が行われる。
【０００８】
静止領域と動領域とに分けた後に、顔候補領域が抽出される。顔候補領域は、例えばプリント対象画像データから人物の肌色を特定する色及び濃度を持つ画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、顔候補領域とされる。また、顔の輪郭、頭部、人物胴体、目や口、眉等の顔内部構造の形状を検出することで、顔候補領域を特定してもよい。そして、動領域と顔候補領域とが重なりあっている領域が顔領域と判定される。静止領域と動領域との判別処理と、顔候補領域抽出処理とは、並行処理してもよく、あるいは順次処理してもよい。順次に処理する場合には、動領域のプリント対象画像データに基づき顔候補領域を抽出することで、抽出処理対象領域が動領域に限定されるため、顔領域の抽出が効率良く行える。
【０００９】
これら顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理が行われる。画質改善処理として、静止領域には、プリント対象画像と参照画像との同じ位置にある画素データを加重平均することが行われ、これによりランダムノイズが除去される。また、前記動領域に対しては、プリント対象画像の画像データを用いて平滑化処理が行われ、動領域内の画像をぼかすことで、人物等のぶれが目立たなくされる。顔領域に対しては例えば強調処理が行われる。また、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように、画像全体又は顔領域のみのプリント濃度及び色が調節される。
【００１０】
また、プリント対象画像データと参照画像データとに対して位置を２次元的にずらしながら局所的マッチング処理が行われる。そして、その相違度が最も小さくなるずらし位置のブロックを関連付けし、この関連付けにより画面全体にわたり動きベクトルが求められる。この動きベクトルに基づきカメラが移動中か、ズーミング中かが判定される。そしてこの判定結果により、カメラの挙動に基づき画面全体の動きをキャンセルする補正動きベクトルが求められる。そして、この補正動きベクトルの大きさが所定値内であれば静止領域と判定され、残りの領域が動領域とされる。これら静止領域と動領域とに対して異なる画質改善処理が行われる。
【００１１】
【発明の実施の形態】
図１は、本発明を実施したビデオプリンタの機能ブロック図である。このビデオプリンタ１０は、画像入力部１１と、画像処理部１２と、プリント部１３とから構成されている。
【００１２】
画像入力部１１には、例えば８mmビデオカメラ１４の映像出力が入力される。画像入力部１１はＹ／Ｃ分離回路１６及びデコーダ１７を備えている。Ｙ／Ｃ分離回路１６は、ビデオカメラ１４からのＮＴＳＣ信号を輝度信号（Ｙ）と色信号（Ｃ）とに分離する。デコーダ１７は、輝度信号（Ｙ）と色信号（Ｃ）とを赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色信号に変換し、Ａ／Ｄ変換器１８とセレクタ１９とに送る。なお、映像出力は８mmビデオカメラ１４のものに限定されることなく、ビデオテープレコーダ，テレビ，パソコン等からのものであってもよい。また、映像出力はＮＴＳＣ信号に限定されることはなく、Ｒ，Ｇ，Ｂのデジタル信号等であってもよい。
【００１３】
セレクタ１９は、通常再生モードでは端子（ａ）側にセットされており、フリーズモードでは端子（ｂ）側にセットされている。セレクタ１９が端子（ａ）側にセットされると、画像データはエンコーダ２０を介してカラーモニタ２２に送られ、このカラーモニタ２２に再生中の画像が表示される。このカラーモニタ２２の画像を観察して、プリント対象画像を特定する。この特定はキーボード２５のフリーズボタンを押すことにより行われる。キーボード２５はシステムコントローラ２６に接続されており、このキーボード２５から各種指令の入力が行われる。システムコントローラ２６は周知のマイクロコンピュータから構成されており、各部をシーケンス制御する。このシステムコントローラ２６には液晶ディスプレィ２７が接続されており、各種モードの表示や指令が表示されるようになっている。なお、液晶ディスプレィ２７を用いる代わりにカラーモニタ２２に各種モードや指令等を表示してもよい。
【００１４】
デコーダ１７からの三色画像データはＡ／Ｄ変換器１８でデジタル化され、システムコントローラ２６によって、画像の再生中にリアルタイムで表示画像がフレームメモリ２８に送られる。フレームメモリ２８は、プリント対象用フレームメモリと、２個の参照用フレームメモリとから構成されており、各フレームメモリにはＲ，Ｇ，Ｂの各色ごとに画像データが記憶される。参照用フレームメモリには、プリント対象画像の１秒前と１秒後の画像が記憶されるが、この参照対象画像は１秒前又は１秒後に限定されるものではなく、キーボード２５から参照画像の採取間隔を適宜設定することができる。この採取間隔は、時間により特定する他に、フレーム数によって特定してもよい。
【００１５】
フリーズボタンにより特定されたプリント対象画像と参照画像の画像データは、フレームメモリ２８に書き込まれる。キーボード２５の操作によりフリーズ画像の表示が選択されると、セレクタ１９が端子（ｂ）側にセットされ、Ｄ／Ａ変換器２９，エンコーダ２０を介して、書き込まれたプリント対象画像のデータはカラーモニタ２２に送られる。これにより、カラーモニタ２２にプリント対象画像が表示される。このプリント対象画像をカラーモニタ２２で確認した後、キーボード２５からプリントスタート信号が入力されると、システムコントローラ２６は、このフレームメモリ２８からプリント対象画像と参照画像との画像データを画像処理部１２に送る。
【００１６】
画像処理部１２では、まずマッチング処理部３０により、プリント対象画像と参照画像との局所的マッチング処理が行われる。この局所的マッチング処理は、プリント対象画像と参照画像とをｍ×ｍの分割エリアに分割して、これら各分割エリア毎に各画素に対してプリント対象画像と参照画像との画素間差分の絶対値和を求め、この値が所定の閾値内にある場合に、このブロックを静止領域と判定し、また、所定の閾値から外れる場合に、このブロックを動領域と判定する。なお、絶対値和の他に、画素間差分の二乗和を用いてもよい。静止領域の画像データは、静止領域加重平均部３１に送られる。また、静止領域を除いた動領域の画像データは、動領域平滑化処理部３２に送られる。なお、画像処理部１２では、この他にガンマ補正、マトクリス補正、文字イラスト合成、拡大／縮小、トリミング等の周知の処理が行われる。
【００１７】
静止領域加重平均部３１では、プリント対象画像と参照画像とにおける同位置の画素データから加重平均値を求め、これを画像合成部３３に送る。加重平均値はプリント対象画像側の画像データに重みをおいて求められ、この重み付け係数は、採取する参照画像の間隔や、入力する画像種別によって、システムコントローラ２６から変更される。なお、加重平均値を求める際には、プリント対象画像の画素値から所定値離れた値を持つ画素を除外しており、異なる被写体の一部が紛れ込むことを防止している。また、プリント対象画像の画素値の代わりに、求めた加重平均値を基準にしてこの値から所定値離れた値を持つ画素を除外するようにしてもよい。
【００１８】
動領域平滑化処理部３２では、プリント対象画像の画像データを用いて、これの動領域をｋ×ｋのブロックに分けて、各ブロックの平滑化処理を行う。この平滑化処理された画像データは、画像合成部３３に送られる。この平滑化処理によって動領域内の画像をぼかす処理が行える。したがって、動領域内で被写体が動いて画像が流れている場合にこれがぼかされることで、画像の流れを目立たなくすることができ、プリントの全体的な品質を上げることができる。
【００１９】
画像合成部３３では、静止領域加重平均部３１からの静止領域の画像データと、動領域平滑化処理部３２からの動領域の画像データとを画像合成する。この画像合成により得られた１フレーム分の画像データは、プリント用フレームメモリ３５に書き込まれる。
【００２０】
プリント部１３はプリント用フレームメモリ３５とプリンタ３６とから構成されている。プリンタ３６は、プリント用フレームメモリ３５から、画像データを読みだして、これに基づき光ビームを変調し、銀塩写真カラー感光材料（カラーペーパー）のイエロー、マゼンタ、シアンの各感光層を走査露光する。なお、光ビームを変調する代わりに、サイズが極めて小さいミラー（マイクロミラー）をライン又はマトリクスに配列し、各マイクロミラーの傾斜角を制御して入射光を偏向するマイクロミラー装置を用いて、走査露光してもよい。更には、液晶パネルやＣＲＴを用いてもよい。周知のように、カラーペーパーとして、ネガ・ポジタイプのものを用いる場合には画像データはポジ・ネガ変換される。このポジ・ネガ変換は、プリント部１３で行う他に、画像処理部１２で行ってもよい。なお、プリント用フレームメモリ３５から画像データを読み出して、これをカラーモニタ２２にシミュレート表示してもよい。
【００２１】
次に、図２を参照して、上記実施形態の作用を説明する。まず、フリーズボタンの操作により、プリント対象画像とこれの１秒前及び１秒後の画像である参照画像がフレームメモリ２８に記憶される。
【００２２】
次に、画像処理部１２のマッチング処理部３０でフレームメモリ２８のプリント対象画像データと参照画像データとに基づき、動領域と静止領域とが判定される。そして、この判定結果に基づき、プリント対象画像の静止領域における画像データと、参照画像の静止領域における画像データとは、静止領域加重平均部３１に送られ、ここで加重平均される。また、マッチング処理部３０における判定結果に基づき、プリント対象画像の動領域における画像データは動領域平滑化処理部３２に送られ、ここで平滑化処理される。
【００２３】
次に、画像合成部３３で、静止領域加重平均部３１からの静止領域画像データと、動領域平滑化処理部３２からの動領域画像データとが画像合成され、この画像合成データがプリント部１３のプリント用フレームメモリ３５に書き込まれる。そして、プリンタ３６により、画像合成されたデータに基づきプリントが行われる。したがって、本実施形態では、静止領域に対してはフレーム間で加重平均値を求めるので、ランダムノイズを軽減することができる。また、動領域に対しては平滑化処理してぼかす補正を行うので、被写体がぶれている場合にこれを目立たなくすることができる。なお、動領域に対しては平滑化処理してぼかす代わりに、ＵＳＭ（アンシャープマスク補正）を行って画像を鮮鋭化してもよい。
【００２４】
なお、上記実施形態では、撮影中のビデオカメラの移動やズーミング撮影が無いことを前提にした処理であるが、この他にビデオカメラを移動しての撮影（カメラ移動撮影）やズーミング撮影が行われた場合には、次のような動き補償処理を行ってプリント処理を行う。この動き補償処理は、上記実施形態における静止領域の全画面に対する割合が小さい場合、例えば１０％以下の場合に行われる。
【００２５】
この動き補償処理では、図３に示すように、プリント対象画像と参照画像とをｍ×ｍの分割エリアに分けて、参照画像の各分割エリアの位置を２次元的にずらしながら、プリント対象画像の各分割エリアとの局所的マッチング処理を行う。そして、その相違度が最も小さくなるずらし位置の参照画像の分割エリアをプリント対象画像の分割エリアに関連付けし、この関連付けにより画面全体にわたりプリント対象画像の分割エリアに対する参照画像の分割エリアの動きベクトルを求める。この動きベクトルに基づき移動撮影かズーミング撮影かを判定する。
【００２６】
前記動きベクトルの方向が全体的に揃っている場合には、プリント対象画像をカメラ移動撮影シーンと判定する。なお、動きのある被写体は、上記動きベクトルとは異なる動きベクトルを示すことが多いが、この被写体の動きは画面全体での比率からすると小さいため、これを無視することができる。このカメラ移動撮影シーンの場合には、動きベクトル分だけ参照画像をずらし、このずらした位置の参照画像とプリント対象画像とに基づき上記実施形態と同じようにして、静止領域と動領域とを判定し、これら静止領域と動領域に対し異なる処理を行う。
【００２７】
また、動きベクトルの方向が全体的に揃っていない場合には、ズーミング撮影シーンか否かを判定する。まず、全画面の動きベクトルについて平均ベクトルを求める。そして、この平均ベクトル分だけ各分割エリアの動きベクトルから差し引いて、補正動きベクトルを算出する。この補正動きベクトルの方向が、全体的に中心部から放射状に並んでいる場合に、カメラをズームミングしながら撮影した画像であると判定する。また、この場合に、全画面的には、補正動きベクトルを平均した平均ベクトルの大きさは「０」に近い値になるので、これも参照することで、ズーミング撮影か否かの判定精度を上げることができる。
【００２８】
この判定結果に基づき参照画像の画面全体の動きをキャンセルした補正動きベクトルを求める。この補正動きベクトルの大きさが所定値内であれば、この参照画像の分割エリアに対応するプリント対象画像の分割エリアの集合を静止領域と判定する。この静止領域に対しては、上記実施形態と同じように、フレーム間で加重平均値を算出する。このフレーム間における加重平均値の算出は、前後のコマにおける動き補償結果に基づき関連付けされた分割エリア同志で行う。また、静止領域を除いた他の分割エリアの集合を動領域と判定する。この動領域に対して上記実施形態と同じように平滑化処理を行う。
【００２９】
なお、シーンの動きを判定する場合に、全画面を多数個の分割エリアに分割してこれら分割エリアの動きベクトルを求める他に、画面周辺部に限定してこの画面周辺部を多数個の分割エリアに分割し、この画面周辺部に対して、シーンの動き判定を行ってもよい。この場合には、演算対象領域が全画面の場合に比べて狭くなるため、演算処理を効率良く行うことができる。そして、この画面周辺部による動き判定結果に基づき、周辺部と同じ大きさで分割した中央部の各分割エリアについて動きベクトルを推定し、これに基づき上記実施形態と同じようにして各種処理を行う。また、カメラ移動撮影とズーミング撮影とを判定した後に、カメラ移動撮影ではフレーム間平滑化処理を行い、ズーミング撮影ではフレーム内平滑化処理を行うようにして、判定結果に応じて異なる処理に分岐させてもよく、この場合には、シーンの動きにあった画像処理が行えるようになる。
【００３０】
次に、図４及び図５に示すように、静止領域と動領域との判定結果と、静止画用人物の顔領域抽出アルゴリズムとを組み合わせて人物の顔領域の抽出を行い、この顔領域の画像データに重きをおいてプリントを行う実施形態について説明する。動画像において、人物の静止状態が所定時間以上続くのは確率的に低い。したがって、人物が動領域に含まれる可能性が高い。また、静止画用人物の顔画像アルゴリズムにおいては、人物の肌色を特定する色及び濃度を有する領域を顔画像と判定するので、壁、地面等の人物以外の被写体であっても肌色と同じ色及び濃度の場合には人物の顔画像と誤判定するおそれがある。そこで、人物の顔領域抽出アルゴリズムにおいて、人物の顔候補領域であり且つ動領域である条件を加えることで、人物の顔領域である可能性はさらに高くなり、顔領域の抽出性能を上げることができる。また、顔候補領域に代えて、顔の輪郭、頭部、人物胴体、目や口、眉等の顔内部構造の形状を検出することで、顔候補領域を特定してもよい。更には、人物の肌色を特定する色及び濃度に基づく顔領域抽出アルゴリズムと、顔の輪郭などの形状検出に基づく顔領域抽出アルゴリズムを併用してもよい。
【００３１】
図４はこの処理手順を示すフローチャートであり、まず動画像データからプリント対象画像と参照画像との画像データを取り込む。この取り込んだ画像データに基づき図２と同じようにして動領域と静止領域とが判定される。この静止領域に対しては、図２の静止領域加重平均部３１と同じようにして加重平均値が算出される。
【００３２】
また、この動領域と静止領域との判定と並行して、プリント対象コマの画像データに基づき顔候補領域抽出処理が行われ、顔候補領域が抽出される。そして、この顔候補領域と動領域とのアンドをとることで、顔領域を判別し、それ以外の領域を非顔領域と判別する。非顔領域に対しては、図１に示す動領域平滑化処理部３２と同じようにプリント対象画像の画像データに基づき平滑化処理が行われる。また、顔領域に対しては、強調処理が行われる。なお、この強調処理に代えて、顔領域の濃度及び色が予め特定された濃度及び肌色になるようにデータ変換してもよい。次に、静止領域、非顔領域、顔領域の各画像データが合成された後に、プリント処理される。
【００３３】
図５は図４における画像データの一例を示すものであり、（Ｂ）はプリント対象画像を、（Ａ）はプリント対象画像の１秒前の参照画像を、（Ｃ）はプリント対象画像の１秒後の参照画像を示すものである。フリーズボタンを押して画像データの取り込みを行うと、プリント対象画像（Ｂ）とこれの１秒前の参照画像（Ａ）と１秒後の参照画像（Ｃ）とがフレームメモリ２８に取り込まれる。
【００３４】
（Ｄ）は静止領域ＳＡの抽出結果を、（Ｅ）は動領域ＭＡの抽出結果を示すもので、プリント対象画像（Ｂ）と参照画像（Ａ），（Ｃ）とに対し、マッチング処理部３０による局所的マッチング処理で抽出されたものである。
【００３５】
（Ｆ）はプリント対象画像に基づき顔候補領域ＦＣＡの抽出処理結果を示すもので、この例では人物画像の他に背景部にも肌色を有する２つの被写体が存在していることが判る。この顔候補領域ＦＣＡの抽出結果（Ｆ）と動領域ＭＡの抽出結果（Ｅ）とのアンドをとることで、顔領域ＦＡの抽出結果（Ｇ）とその他の非顔動領域ＭＮＦＡの抽出結果（Ｈ）とを得ることができる。したがって、プリント対象コマを、静止領域ＳＡと、非顔動領域ＭＮＦＡと、顔領域ＦＡとの３つの領域に分けることができる。このようにして求めた静止領域ＳＡ、非顔動領域ＭＮＦＡ、顔領域ＦＡに対して、各領域に最適な画像処理を施すことで、全体的に仕上りのよいプリントが得られるようになる。
【００３６】
例えば、顔領域ＦＡの画像データに対して、強調処理を加えることで、より一層くっきりした画像に仕上げることができる。また、その他の動領域ＭＮＦＡ及び静止領域ＳＡについては、上記実施形態と同じように処理を行うことで、全体のプリント品質を上げることができる。さらに、人物の顔領域の濃度及び色が適正になるようにプリントを行うことで、主要被写体を適正に仕上げることができ、高品質のプリントを作成することができる。
【００３７】
なお、上記実施形態では、静止領域ＳＡと動領域ＭＡの判別と、顔領域ＦＡと非顔領域ＮＦＡとの判別とを並列で実行し、顔抽出処理で得られた顔候補領域ＦＣＡと動領域ＭＡとのアンドをとることで、顔エリアＦＡと非顔エリアＭＮＦＡとを判別するようにしたが、この他に、図６に示すように、先ず静止領域ＳＡと動領域ＭＡとを判別し、次に動領域ＭＡに対して顔領域抽出処理を行って、顔領域ＦＡと非顔動領域ＭＮＦＡとに判別するようにしてもよい。
【００３８】
また、画像データに対して、周知の画素補完処理を行い、疑似的に解像度を上げるようにしてもよい。補完される画素値の決定方法としては、元画像データとの空間的距離に応じた加重平均を取る方法がある。この場合には、近い画素ほどその重み付け係数を大きくする。この画素補完処理は、静止／動領域判定処理の前段又は後段で行ってもよい。
【００３９】
プリント対象画像の前後コマとしては、連続したコマである必要はなく、一定間隔で取り込んだコマであってもよい。あるいは、コマ間動き検出により、シーンに動きのあった場合に取り込んだコマであってもよい。また、上記実施形態では、プリント対象画像に対して例えば１秒前及び１秒後の画像を参照画像として用いたが、この参照画像は、プリント対象画像に対して前または後の１つの画像としてもよい。
【００４０】
上記実施形態では、静止領域に対して画素データの加重平均値を求めて、この値を静止領域の画像データとし、動領域に対して平滑化処理を行ってぼかすようにし動領域の人物等のぶれが目立たないようにしたが、この他に、各領域に合わせて画像処理の内容及びその制御パラメータを設定してもよい。
【００４１】
上記実施形態では、走査露光によりカラーペーパーにプリントする銀塩式プリンタに実施したが、この他に、カラーサーマルプリンタ、インクジェットプリンタ等の各種のカラープリンタを用いるようにしてもよい。
【００４２】
上記実施形態では、各フレーム間の画像データから動きベクトルを求めて、この動きベクトルからカメラの移動中の撮影と、ズーミング撮影とを検出するようにしたが、この他に、カメラ側でのズーミングスイッチの作動状態を検出しておき、これを撮影情報として画像データとともに記憶するようにしてもよい。同様にして、カメラの動きを検出するセンサを設け、撮影中にカメラの動きを検出して、これを画像データとともに記憶するようにしてもよい。
【００４３】
【発明の効果】
本発明によれば、動画像中のプリント対象画像とこのプリント対象画像に対しｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像を静止領域と動領域とに分けたから、静止領域と動領域とに対してそれぞれの領域に合った異なる画質改善処理を行うことができるようになり、人間の視覚に受け入れやすく処理されることで、プリント全体の画像品質を上げることができる。
【００４４】
また、プリント対象画像を静止領域と動領域とに分け、プリント対象画像データから顔候補領域を抽出し、動領域と顔候補領域とが重なりあっている領域を顔領域と判定したから、プリント対象画像を、顔領域と、顔領域を除いた動領域と、静止領域とに分けることができるので、これら各領域に合った異なる画質改善処理を行うことができるようになり、プリントの全体の画像品質をより一層上げることができる。また、動領域に対してプリント対象画像データから顔候補領域を抽出し、プリント対象画像を、顔領域と、非顔動領域と、静止領域に分けることで、ある程度絞られた動領域に対して顔候補抽出を行うので、顔候補抽出処理を簡単に行うことができる。
【００４５】
また、静止領域に対しては、プリント対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとしたから、ランダムノイズを軽減することができる。また、動領域に対しては、プリント対象画像の画像データを用いて平滑化処理を行うことにより、この動領域をぼかすことができ、動領域におけるぶれを目立たなくすることができる。また、動領域に対しては、プリント対象画像データを用いて強調処理を行うことにより、画像を鮮鋭化することができる。特に、動きが少ない画像の場合には、上記平滑化処理によりぼかすよりも画像品質をあげることができる。
【００４６】
また、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節することで、顔領域に重みをおいた仕上りとなり、プリント品質を上げることができる。また、プリント対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるようにしてもよく、この場合にも顔領域が適正に仕上がるためプリント品質を上げることができる。
【００４７】
プリント対象画像データと参照画像データとに対して位置を２次元的にずらしながら局所的マッチング処理を行って、その相違度が最も小さくなるずらし位置のブロックを関連付けし、この関連付けにより画面全体にわたり動きベクトルを求め、この動きベクトルに基づきカメラが移動中か、ズーミング中かを判定するようにしたから、この判定結果に基づきこれらの動きをキャンセルすることができる。したがって、カメラを移動して撮影したり、ズーミング撮影したりした場合でも、参照画像の画像データを用いることができる。しかも、参照画像の画像データは動きベクトルに基づきこれらの動きをキャンセルした値を用いるから、撮影中にカメラの挙動変化があった場合でも、プリント対象画像の動エリアと静止エリアとを判定することができる。したがって、この判定結果に基づき各領域毎に異なる画質改善処理を行うことにより、カメラ移動中の撮影や、ズーミング撮影におけるプリント対象画像の画像品質を上げることができる。また、画像処理方法においても、上記の動画像のプリント方法と同様にして人間の視覚に受け入れ易く画像処理されることにより、動画像の画像品質を上げることができる。
【図面の簡単な説明】
【図１】本発明を実施したビデオプリンタを示す機能ブロック図である。
【図２】同ビデオプリンタにおける処理手順を示すフローチャートである。
【図３】カメラ移動撮影シーンとズーミング撮影シーンとを自動判定して各シーンに合わせて静止領域と動領域とを判別する他の実施形態の処理手順を示すフローチャートである。
【図４】静止領域・動領域の判別処理と、顔領域の判別処理とを並行して処理する他の実施形態の処理手順を示すフローチャートである。
【図５】動画像データの一例と、この画像データから抽出した静止領域、非顔動領域、顔領域の一例とを示すもので、（Ａ），（Ｃ）は参照画像、（Ｂ）はプリント対象画像、（Ｄ）は静止領域の抽出結果、（Ｅ）は動領域の抽出結果、（Ｆ）は顔候補領域の抽出結果、（Ｇ）は顔領域の抽出結果、（Ｈ）は非顔動領域の抽出結果である。
【図６】静止領域・動領域を判別した後に顔領域の判別を行う他の実施形態の処理手順を示すフローチャートである。
【符号の説明】
１０ ビデオプリンタ
１１ 画像入力部
１２ 画像処理部
１３ プリント部
１４ ビデオカメラ
２８，３５ フレームメモリ
３０ マッチング処理部
３１ 静止領域加重平均部
３２ 動領域平滑化処理部
３３ 画像合成部
ＳＡ 静止領域
ＭＡ 動領域
ＦＣＡ 顔候補領域
ＭＮＦＡ 非顔動領域
ＦＡ 顔領域
Claims (14)
- 動画像中のプリント対象画像とこのプリント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、
プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像における各部を静止領域と動領域とに分け、
前記プリント対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として抽出し、または、プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を抽出し、
前記動領域と前記顔候補領域とが重なりあっている領域を顔領域と判定し、
顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うことを特徴とする動画像のプリント方法。 - 動画像中のプリント対象画像とこのプリント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、
プリント対象画像データと参照画像データとに対して局所的マッチング処理を行って、プリント対象画像を静止領域と動領域とに分け、
前記動領域に対して前記プリント対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として抽出し、または、前記動領域に対して前記プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を抽出し、
顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うことを特徴とする動画像のプリント方法。 - 請求項１または２記載の動画像のプリント方法において、前記静止領域に対する画質改善処理は、プリント対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとすることを特徴とする動画像のプリント方法。
- 請求項１ないし３いずれか１つ記載の動画像のプリント方法において、前記動領域に対する画質改善処理は、プリント対象画像の画像データを用いて平滑化処理することを特徴とする動画像のプリント方法。
- 請求項１ないし４いずれか１つ記載の動画像のプリント方法において、前記顔領域に対する画質改善処理は、プリント対象画像の画像データを用いて強調処理することを特徴とする動画像のプリント方法。
- 請求項１なしい４いずれか１つ記載の動画像のプリント方法において、前記顔領域に対する画質改善処理は、プリント対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節することを特徴とする動画像のプリント方法。
- 請求項１なしい４いずれか１つ記載の動画像のプリント方法において、前記顔領域に対する画質改善処理は、プリント対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるように調節することを特徴とする動画像のプリント方法。
- 動画像中の画像処理対象画像とこの画像処理対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、
画像処理対象画像データと参照画像データとに対して局所的マッチング処理を行って、画像処理対象画像における各部を静止領域と動領域とに分け、
前記画像処理対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として特定し、または、前記動領域に対して前記プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を特定し、
前記動領域と前記顔候補領域とが重なりあっている領域を顔領域と判定し、
顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うことを特徴とする動画像の画像処理方法。 - 動画像中の画像処理対象画像とこの画像処理対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の参照画像の各データをメモリにコマ単位で取り込み、
画像処理対象画像データと参照画像データとに対して局所的マッチング処理を行って、画像処理対象画像を静止領域と動領域とに分け、
前記動領域に対して前記画像処理対象画像データから人物の肌色を特定する画素を抽出し、これら抽出した画素が一定領域内に集合しているときに、この一定領域を顔候補領域として特定し、または、前記動領域に対して前記プリント対象画像データから人物の顔の構成要素の形状を抽出することにより顔候補領域を特定し、
顔領域と、顔領域を除いた動領域と、静止領域とに対して、異なる画質改善処理を行うことを特徴とする動画像の画像処理方法。 - 請求項８または９記載の動画像の画像処理方法において、前記静止領域に対する画質改善処理は、画像処理対象画像と参照画像との同じ位置にある画素データを加重平均し、この加重平均値を画像データとすることを特徴とする動画像の画像処理方法。
- 請求項８ないし１０いずれか１つ記載の動画像の画像処理方法において、前記動領域に対する画質改善処理は、画像処理対象画像の画像データを用いて平滑化処理することを特徴とする動画像の画像処理方法。
- 請求項８ないし１１いずれか１つ記載の動画像の画像処理方法において、前記顔領域に対する画質改善処理は、画像処理対象画像の画像データを用いて強調処理することを特徴とする動画像の画像処理方法。
- 請求項８ないし１１いずれか１つ記載の動画像の画像処理方法において、前記顔領域に対する画質改善処理は、画像処理対象画像の顔領域内の画像データに基づき顔領域の濃度及び色を適正に仕上げるように画像全体のプリント濃度及び色を調節することを特徴とする動画像の画像処理方法。
- 請求項８ないし１１いずれか１つ記載の動画像の画像処理方法において、前記顔領域に対する画質改善処理は、画像処理対象画像の顔領域内の画像データに基づき顔領域のみを部分的に、その濃度及び色が適正に仕上げるように調節することを特徴とする動画像の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23817496A JP3738087B2 (ja) | 1996-09-09 | 1996-09-09 | 動画像のプリント方法及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23817496A JP3738087B2 (ja) | 1996-09-09 | 1996-09-09 | 動画像のプリント方法及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1083033A JPH1083033A (ja) | 1998-03-31 |
| JP3738087B2 true JP3738087B2 (ja) | 2006-01-25 |
Family
ID=17026283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23817496A Expired - Fee Related JP3738087B2 (ja) | 1996-09-09 | 1996-09-09 | 動画像のプリント方法及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3738087B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010015607A (ja) * | 2003-11-05 | 2010-01-21 | Seiko Epson Corp | 画像処理装置、画像処理方法 |
| JP2007013534A (ja) * | 2005-06-30 | 2007-01-18 | Fujitsu Ten Ltd | 映像信号処理方法及びマルチビュー表示装置 |
| JP4839183B2 (ja) * | 2006-11-07 | 2011-12-21 | オリンパス株式会社 | 画像処理装置 |
| JP4735742B2 (ja) * | 2008-12-18 | 2011-07-27 | カシオ計算機株式会社 | 撮像装置、ストロボ画像生成方法、および、プログラム |
| JP5322667B2 (ja) * | 2009-01-16 | 2013-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP6455354B2 (ja) * | 2015-07-23 | 2019-01-23 | 株式会社Ｊｖｃケンウッド | 動画撮影装置、動画撮影方法及びプログラム |
| CN112070801B (zh) * | 2020-08-31 | 2023-08-11 | 上海沈德医疗器械科技有限公司 | 一种基于图像的运动检测方法 |
-
1996
- 1996-09-09 JP JP23817496A patent/JP3738087B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1083033A (ja) | 1998-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7496287B2 (en) | Image processor and image processing program | |
| JP4750854B2 (ja) | 画像処理方法および装置とそのプログラム | |
| JP4677753B2 (ja) | 動画像処理装置及び方法 | |
| JP5089405B2 (ja) | 画像処理装置及び画像処理方法並びに撮像装置 | |
| TWI459324B (zh) | 修改色彩及全色通道彩色濾光片陣列影像 | |
| US6697107B1 (en) | Smoothing a digital color image using luminance values | |
| US8817124B2 (en) | Image processing apparatus capable of generating an image signal having a higher resolution by compositing a plurality of image signals | |
| EP2088787A1 (en) | Image picking-up processing device, image picking-up device, image processing method and computer program | |
| KR20180096816A (ko) | 이미지의 화질 개선을 위한 장치 및 방법 | |
| US8310553B2 (en) | Image capturing device, image capturing method, and storage medium having stored therein image capturing program | |
| JP2002262094A (ja) | 画像処理方法及び画像処理装置 | |
| JP2002158893A (ja) | 画像補正装置、画像補正方法および記録媒体 | |
| JP4650297B2 (ja) | カメラ、カメラの制御方法、プログラムおよび記録媒体 | |
| JP5129031B2 (ja) | 監視カメラ装置 | |
| US20090027519A1 (en) | Noise reduction device, noise reduction method and video camera | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| JP2018207497A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体 | |
| JP3738087B2 (ja) | 動画像のプリント方法及び画像処理方法 | |
| JP2007188126A (ja) | 画像明るさ算出装置および方法並びにプログラム | |
| JP2008164758A (ja) | 画像復元装置 | |
| JP2006343863A (ja) | 画像処理装置及びその方法 | |
| JP2008166947A (ja) | 撮像装置 | |
| JP2009244944A (ja) | 画像回復装置および撮影装置 | |
| JP4467231B2 (ja) | 画像処理装置 | |
| JP2009118434A (ja) | ぶれ補正装置及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
| LAPS | Cancellation because of no payment of annual fees |