JP5322704B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像表示技術に関するものである。

複数のフレーム画像から構成される動画像から印刷用のフレーム画像（静止画像）を切り出し、静止画として利用したいという要求は多い。しかし、高速シャッターで撮影した動画像にはジャーキネスが発生するし、低速シャッターで撮影した動画像から一枚の画像（フレーム画像）を切り出した場合であっても、このフレーム画像には動きぼけが発生している。また、フィルタ処理による動きぼけの除去も難しい。

非特許文献１によると、シャッターの開閉を所定のパターン（間欠パターン）にしたがって行い、間欠パターンと動き情報（動きの方向と速度）とを用いることによって、間欠的に撮影した間欠撮影画像中の動きぼけの除去が可能となる。

ここで、間欠パターンについて補足説明する。ビデオカメラでは一枚の画像の撮影時間は１／６０秒となる。この間欠パターンを用いた間欠撮影では、この１／６０秒間、シャッターを開いた状態にせず、例えば、この１／６０秒を１０００分割し、その短い時間ごとに、シャッターが開いた状態、あるいは、閉じた状態を作って撮影する。この場合、間欠パターンは、シャッターを開いた状態を１、閉じた状態を０とすれば、１０００桁の２進数で表現することができる。

一般に、動いている物体を、間欠的に撮影せずに、動きぼけが発生する低速シャッタースピードで撮影した場合、動きぼけ領域の中に様々な空間周波数を含む画像が撮影される。この画像の動きぼけ領域は様々な空間周波数を含むため、ぼけ方を表現するＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を一意に決めることが難しく、ＰＳＦの逆フィルタによる動きぼけ除去処理は難しかった。しかし、間欠的に画像を撮影した場合、画像の動きぼけ領域に対して特定の空間周波数を制限することができる。非特許文献１は、このＰＳＦの一意に決まるように空間周波数を制限する間欠パターンを作る方法、および、推定したＰＳＦの逆フィルタによって動きぼけを除去する技術について説明している。

しかし、この間欠撮影画像の動きぼけ領域は、特定の空間周波数が制限されるために、動いている物体の輪郭が多重になり、視覚的な違和感が多く、そのままの見るには適さない。

Ｃｏｄｅｄ Ｅｘｐｏｓｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ： Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ ｕｓｉｎｇ Ｆｌｕｔｔｅｒｅｄ Ｓｈｕｔｔｅｒ ｂｙ Ｒａｍｅｓｈ Ｒａｓｋａｒ，ＡＣＭ ＳＩＧＧＲＡＰＨ ２００６

即ち、自然な動きを表す動画表示用のフレーム画像と、動きぼけの少ない静止画像表示用のフレーム画像と、を両立させて記録・伝送することは難しかった。

本発明は以上の問題に鑑みて成されたものであり、動画像を構成するフレーム画像を動画像表示用の画像として表示する場合であっても、静止画像表示用の画像として表示する場合であっても、好適な画像として表示する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、複数のフレーム画像から構成される動画像を入力する手段と、
前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する手段と、
前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第１の出力手段と、
前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第２の出力手段と
を備えることを特徴とする。

本発明の構成によれば、動画像を構成するフレーム画像を動画像表示用の画像として表示する場合であっても、静止画像表示用の画像として表示する場合であっても、好適な画像として表示することができる。

第１の実施形態に係る画像処理装置の機能構成例を示すブロック図である。 第２の実施形態に係る画像処理装置としての符号化装置の機能構成例を示すブロック図である。 第２の実施形態に係る画像処理装置としての復号装置の機能構成例を示すブロック図である。 ラプラシアンフィルタカーネルの構成例を示す図である。 ローパスフィルタカーネルの構成例を示す図である。 ステップＳ７０５における処理の詳細を示すフローチャートである。 第１の実施形態に係る画像処理装置が行う処理のフローチャートである。 第２の実施形態に係る画像処理装置としての符号化装置が行う処理のフローチャートである。 第２の実施形態に係る画像処理装置としての復号装置が行う処理のフローチャートである。 各実施形態における画像処理装置（符号化装置、復号装置を含む）に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、ＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）に従って符号化された動画像データ（複数のフレーム画像から構成される動画像の符号化データ）を復号して出力する画像処理装置について説明する。もちろん、符号化方式についてはこれ以外のものであっても、本実施形態の本質は変わらない。

図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。図１に示す如く、本実施形態に係る画像処理装置は、データ入力部１０１、分離部１０２、ストリーム復号部１０３、セレクタ１０４、動き暈け除去部１０５、多重輪郭除去部１０６、セレクタ１０７、画像出力部１０８、切り替え信号入力部１０９、を有する。

データ入力部１０１は、ＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６−１０）に従って符号化された動画像データであるＨ２６４ストリームを外部から取得し、取得したこのＨ２６４ストリームを後段の分離部１０２に送出する。なお、このＨ２６４ストリームには、撮影情報が付加（多重化）されている。撮影情報とは、この動画像を撮像したカメラに搭載されたジャイロセンサによって計測された動き情報と、上述の間欠パターンと、を含む情報である。

分離部１０２は、データ入力部１０１から、撮影情報が多重化されたＨ２６４ストリームを受け取ると、Ｈ２６４ストリームと撮影情報とを分離する。そして分離部１０２は、Ｈ２６４ストリームについては後段のストリーム復号部１０３に送出し、撮影情報については後段の動き暈け除去部１０５に送出する。

ストリーム復号部１０３は、分離部１０２からＨ２６４ストリームを受け取ると、Ｈ２６４ストリームに含まれている各フレームの画像（フレーム画像）を復号する。そして復号した各フレームのフレーム画像を順次、後段のセレクタ１０４に送出する。

切り替え信号入力部１０９には、ストリーム復号部１０３が復号したフレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示が入力される。切り替え信号入力部１０９はこのような指示を受け取ると、この指示に基づいてセレクタ１０４、１０７を制御する。

より詳しくは、係る指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部１０３から出力されたフレーム画像が多重輪郭除去部１０６に入力されるように、セレクタ１０４を制御する。また、切り替え信号入力部１０９は、多重輪郭除去部１０６からの出力が画像出力部１０８に入力されるように、セレクタ１０７を制御する。即ち、入力された指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部１０３から出力されたフレーム画像が多重輪郭除去部１０６を介して画像出力部１０８に送出されるように、セレクタ１０４、１０７を制御する。

一方、係る指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、切り替え信号入力部１０９は、ストリーム復号部１０３から出力されたフレーム画像が動き暈け除去部１０５に入力されるように、セレクタ１０４を制御する。また、切り替え信号入力部１０９は、動き暈け除去部１０５からの出力が画像出力部１０８に入力されるように、セレクタ１０７を制御する。即ち、入力された指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、ストリーム復号部１０３から出力されたフレーム画像が動き暈け除去部１０５を介して画像出力部１０８に送出されるようにセレクタ１０４、１０７を制御する。

多重輪郭除去部１０６は、セレクタ１０４からフレーム画像を受けると、先ず、このフレーム画像を構成している各画素に対して、図４に例示した構成を有するラプラシアンフィルタカーネルを適用することで、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部１０６は、この検出した輪郭を構成する各画素に対して、図５に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす（暈かし）処理を行う。これにより、多重輪郭除去部１０６は、セレクタ１０４から受けたフレーム画像を、輪郭が暈けたフレーム画像に更新する。そして多重輪郭除去部１０６は、このようにして更新したフレーム画像（輪郭が暈けたフレーム画像）を、後段のセレクタ１０７に送出する。

動き暈け除去部１０５は、セレクタ１０４からフレーム画像を受けると、分離部１０２から受けた撮影情報に含まれている動き情報と間欠パターンとを用いて、このフレーム画像から動き暈けを除去することで、このフレーム画像を更新する処理を行う。動き情報と間欠パターンとを用いて画像中の動き暈けを除去する処理については上述の通り、公知の技術であるので、これについての説明は省略する。

なお、本実施形態では、動き情報については予め撮影情報に含められ、Ｈ２６４ストリームに多重化されているものとして説明した。しかし、この動き情報は、各フレーム画像を用いて動きベクトルを求めたりすることで動的に求めることができるので、予め撮影情報に含めることに限定するものではない。そして動き暈け除去部１０５は、このようにして更新したフレーム画像（動き暈けが除去されたフレーム画像）を、後段のセレクタ１０７に送出する。

セレクタ１０７は動き暈け除去部１０５、多重輪郭除去部１０６のうち切り替え信号入力部１０９により選択された方からの出力（フレーム画像）を画像出力部１０８に転送する。

画像出力部１０８は、セレクタ１０７から受けたフレーム画像を出力する。出力先については特に限定するものではないが、例えば、ＣＲＴや液晶画面などにより構成されている表示装置であっても良いし、記憶装置であっても良い。

図７は、本実施形態に係る画像処理装置が行う処理のフローチャートである。先ずステップＳ７０１では、データ入力部１０１は、撮影情報が多重化されたＨ２６４ストリームを取得する。

次に、ステップＳ７０２では、分離部１０２は、データ入力部１０１から、撮影情報が多重化されたＨ２６４ストリームを受け取ると、Ｈ２６４ストリームと撮影情報とを分離する。そして分離部１０２は、Ｈ２６４ストリームについては後段のストリーム復号部１０３に送出し、撮影情報については後段の動き暈け除去部１０５に送出する。

次に、ステップＳ７０３では、ストリーム復号部１０３は、分離部１０２からＨ２６４ストリームを受け取ると、Ｈ２６４ストリームに含まれている各フレームの画像（フレーム画像）を復号する。そして復号した各フレームのフレーム画像を順次、後段のセレクタ１０４に送出する。

切り替え信号入力部１０９は、上記指示が、フレーム画像を動画像表示用の画像として表示することを示す場合には、ストリーム復号部１０３から出力されたフレーム画像が多重輪郭除去部１０６に入力されるように、セレクタ１０４を制御する。また、切り替え信号入力部１０９は、多重輪郭除去部１０６からの出力が画像出力部１０８に入力されるように、セレクタ１０７を制御する。従ってこのような場合には処理はステップＳ７０４を介してステップＳ７０５に進む。

一方、上記指示が、フレーム画像を静止画像表示用の画像として表示することを示す場合には、切り替え信号入力部１０９は、ストリーム復号部１０３から出力されたフレーム画像が動き暈け除去部１０５に入力されるように、セレクタ１０４を制御する。また、切り替え信号入力部１０９は、動き暈け除去部１０５からの出力が画像出力部１０８に入力されるように、セレクタ１０７を制御する。従ってこのような場合には処理はステップＳ７０４を介してステップＳ７０６に進む。

ステップＳ７０５では、多重輪郭除去部１０６は、セレクタ１０４からフレーム画像を受けると先ず、このフレーム画像を構成している各画素に対して、図４に例示した構成を有するラプラシアンフィルタカーネルを適用する。これにより、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部１０６は、この検出した輪郭を構成する各画素に対して、図５に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす処理を行う。これにより、多重輪郭除去部１０６は、セレクタ１０４から受けたフレーム画像を、輪郭が暈けたフレーム画像に更新する。

図６は、ステップＳ７０５における処理の詳細を示すフローチャートである。先ずステップＳ６０１では、多重輪郭除去部１０６は、セレクタ１０４から入力したフレーム画像を構成している各画素に対して、図４に例示した構成を有するラプラシアンフィルタカーネルを適用することで、このフレーム画像中の輪郭を検出する。そして次に、多重輪郭除去部１０６は、ラプラシアンフィルタカーネルを適用した画素のうち、規定値以上の画素値を有する画素があった場合には、処理をステップＳ６０２を介してステップＳ６０３に進める。そしてステップＳ６０３では、多重輪郭除去部１０６は、この画素に対して、図５に例示する構成を有するローパスフィルタカーネルを適用することで、この輪郭を暈かす処理を行う。そして多重輪郭除去部１０６は、このようにして更新したフレーム画像（輪郭が暈けたフレーム画像）を、後段のセレクタ１０７に送出する。

一方、ステップＳ７０６では、動き暈け除去部１０５は、セレクタ１０４からフレーム画像を受けると、分離部１０２から受けた撮影情報に含まれている動き情報と間欠パターンとを用いて、このフレーム画像から動き暈けを除去する。これにより、このフレーム画像を更新する処理を行う。そして動き暈け除去部１０５は、このようにして更新したフレーム画像（動き暈けが除去されたフレーム画像）を、後段のセレクタ１０７に送出する。

ステップＳ７０７では、セレクタ１０７は、動き暈け除去部１０５、多重輪郭除去部１０６のうち切り替え信号入力部１０９により選択された方からの出力（フレーム画像）を画像出力部１０８に転送する。画像出力部１０８は、セレクタ１０７から受けたフレーム画像を出力する（第１の出力、第２の出力）。なお、ステップＳ７０４以降の処理は、各フレーム画像について行うことになる。

以上の説明により、本実施形態によれば、自然な動きの動画像表示用の画像と動きぶれのない静止画像表示用の画像と、を外部からの要求に応じて適宜切り替えて出力することができる。

なお、本実施形態ではフレーム単位で処理を行っているが、これに限定されるものではなく、画素単位、あるいは、ブロック単位で処理するようにしても良い。また、多重輪郭除去部１０６では、輪郭を検出してローパスフィルタをかけているが、検出方法、フィルタカーネルについては、上記例に限定するものではない。

また、図１では説明を簡単にするために、各部間で直接データのやり取りを行うようにしているが、やり取りするデータを一端メモリに格納し、そして格納したデータを次の転送先に転送するようにしても良い。そしてこのような構成は如何なる目的のために用いても良い。

［第２の実施形態］
図２は、本実施形態に係る画像処理装置としての符号化装置の機能構成例を示すブロック図である。図２に示す如く、係る符号化装置は、画像入力部２０１、多重輪郭除去部２０２、画像符号化部２０３、復号化部２０４、差分抽出部２０５、差分画像符号化部２０６、多重化処理部２０７、撮影情報入力部２０８、データ出力部２０９を有する。

画像入力部２０１には、シャッターの開閉を所定の間欠パターンで刻むことで間欠的に撮影されたフレーム画像（間欠撮影画像）が順次入力される。画像入力部２０１は、外部から入力されたフレーム画像を多重輪郭除去部２０２と差分抽出部２０５とに送出する。

多重輪郭除去部２０２は、第１の実施形態で説明した多重輪郭除去部１０６と同じもので、入力されたフレーム画像中の輪郭を暈かすことでこのフレーム画像を更新する処理を行う。そして多重輪郭除去部２０２は、更新後のフレーム画像を後段の画像符号化部２０３に入力する。

画像符号化部２０３は、Ｈ．２６４の符号化方式に従って、多重輪郭除去部２０２から入力されたフレーム画像を符号化する（第１の符号化）。そして符号化したフレーム画像（符号化結果）を後段の多重化処理部２０７に入力する。更に、画像符号化部２０３は、量子化されたＤＣＴ符号化情報などの符号化中間情報を復号化部２０４に出力する。

復号化部２０４は、画像符号化部２０３から受けた符号化中間情報を復号することで復号フレーム画像を生成する。そして復号化部２０４は、このように生成した復号画像を差分抽出部２０５に送出する。

差分抽出部２０５には画像入力部２０１から順次フレーム画像が入力されると共に、復号化部２０４からも順次復号画像が入力される。差分抽出部２０５は、画像入力部２０１から入力されるそれぞれのフレーム画像と、復号化部２０４から入力されるそれぞれの復号フレーム画像とで、対応するフレーム画像同士の差分画像を求める。そして差分抽出部２０５は、求めた差分画像を後段の差分画像符号化部２０６に送出する。差分画像符号化部２０６は、順次入力されるそれぞれの差分画像についてＪＰＥＧ圧縮を行う（第２の符号化）。

撮影情報入力部２０８には、第１の実施形態で説明した撮影情報が入力されるので、撮影情報入力部２０８はこの入力された撮影情報を、後段の多重化処理部２０７に送出する。

多重化処理部２０７は、撮影情報入力部２０８から入力された撮影情報、差分画像符号化部２０６から送出された符号化結果（差分ストリーム）、画像符号化部２０３から送出された符号化結果（メインストリーム）、を多重化する。そして多重化した結果をストリームとしてデータ出力部２０９に送出する。

データ出力部２０９は、多重化処理部２０７から受けたストリームを出力する。出力先については特に限定するものではないが、ハードディスクなどの記憶装置に対して出力しても良いし、図３に示す構成を有する復号装置に対して直接出力するようにしても良い。

図８は、本実施形態に係る画像処理装置としての符号化装置が行う処理のフローチャートである。先ず、ステップＳ８０１では、画像入力部２０１には、フレーム画像（間欠撮影画像）が順次入力されるので、画像入力部２０１は、このフレーム画像を多重輪郭除去部２０２と差分抽出部２０５とに送出する。

次に、ステップＳ８０２では、多重輪郭除去部２０２は、入力されたフレーム画像中の輪郭を暈かすことでこのフレーム画像を更新する処理を行う。そして多重輪郭除去部２０２は、更新後のフレーム画像を後段の画像符号化部２０３に入力する。

次に、ステップＳ８０３では、画像符号化部２０３は、Ｈ．２６４の符号化方式に従って、多重輪郭除去部２０２から入力されたフレーム画像を符号化する（第１の符号化）。そして符号化したフレーム画像（符号化結果）を後段の多重化処理部２０７に入力する。更に、画像符号化部２０３は、量子化されたＤＣＴ符号化情報などの符号化中間情報を復号化部２０４に出力する。

次に、ステップＳ８０４では、復号化部２０４は、画像符号化部２０３から受けた符号化中間情報を復号することで復号フレーム画像を生成する。そして復号化部２０４は、このように生成した復号画像を差分抽出部２０５に送出する。

次に、ステップＳ８０５では、差分抽出部２０５は、画像入力部２０１から入力されるそれぞれのフレーム画像と、復号化部２０４から入力されるそれぞれの復号フレーム画像とで、対応するフレーム画像同士の差分画像を求める。そして差分抽出部２０５は、求めた差分画像を後段の差分画像符号化部２０６に送出する。次に、ステップＳ８０６では、差分画像符号化部２０６は、順次入力されるそれぞれの差分画像についてＪＰＥＧ圧縮を行う（第２の符号化）。

次にステップＳ８０７では、多重化処理部２０７は、撮影情報入力部２０８から入力された撮影情報、差分画像符号化部２０６から送出された符号化結果（差分ストリーム）、画像符号化部２０３から送出された符号化結果（メインストリーム）、を多重化する。そして多重化した結果をストリームとしてデータ出力部２０９に送出する。次に、ステップＳ８０８では、データ出力部２０９は、多重化処理部２０７から受けたストリームを出力する。

図３は、本実施形態に係る画像処理装置としての復号装置の機能構成例を示すブロック図である。図３に示す如く、復号装置は、切り替え信号入力部３０８、データ入力部３０１、データ分離部３０２、メインストリーム復号部３０３、差分ストリーム復号部３０４、画像合成部３０５、動き暈け除去部３０６、セレクタ３０７、画像出力部３０９を有する。

データ入力部３０１には、図２に示した構成を有する符号化装置が生成したストリームが入力される。そしてデータ入力部３０１は、このストリームを後段のデータ分離部３０２に送出する。

データ分離部３０２は、このストリームに含まれているメインストリームについてはメインストリーム復号部３０３に送出し、差分ストリームについては差分ストリーム復号部３０４に送出する。また、データ分離部３０２は、このストリームに含まれている撮影情報については、動き暈け除去部３０６に送出する。メインストリーム復号部３０３は、メインストリームを復号する（第１の復号）。差分ストリーム復号部３０４は、差分ストリームを復号する（第２の復号）。

ここで、切り替え信号入力部３０８には、動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示が入力される。従って切り替え信号入力部３０８は、この指示が、動き暈け除去画像を出力することを示す場合には、メインストリーム復号部３０３、差分ストリーム復号部３０４を制御し、それぞれの出力先を画像合成部３０５に設定する。即ち画像合成部３０５には、メインストリームの復号結果と差分ストリームの復号結果とが入力されることになる。

画像合成部３０５は、メインストリームの復号結果と差分ストリームの復号結果とを合成する。即ち、復号したフレーム画像と、復号した差分画像とを合成した画像（多重輪郭復号画像）を、フレーム毎に生成する。そして画像合成部３０５は、多重輪郭復号画像を動き暈け除去部３０６に送出する。

動き暈け除去部３０６は、図１に示した動き暈け除去部１０５と同じものであり、データ分離部３０２から受けた撮影情報を用いて、多重輪郭復号画像から動き暈けを除去することで、この多重輪郭復号画像を更新する。そして更新した多重輪郭復号画像をセレクタ３０７に送出する。この場合、セレクタ３０７は、この更新した多重輪郭除去画像を後段の画像出力部３０９に送出する。

一方、切り替え信号入力部３０８は、指示が、多重輪郭除去画像を出力することを示す場合には、メインストリーム復号部３０３を制御し、その出力先をセレクタ３０７に設定する。この場合、セレクタ３０７は、メインストリーム復号部３０３により復号されたフレーム画像を、後段の画像出力部３０９に送出する。

画像出力部３０９は、セレクタ３０７から受けた画像を出力する。出力先については第１の実施形態と同様、特に限定するものではない。

図９は、本実施形態に係る画像処理装置としての復号装置が行う処理のフローチャートである。先ず、ステップＳ９０１では、データ入力部３０１は、ストリームを取得し、後段のデータ分離部３０２に送出する。

次に、ステップＳ９０２では、データ分離部３０２は、このストリームに含まれているメインストリームについてはメインストリーム復号部３０３に送出し、差分ストリームについては差分ストリーム復号部３０４に送出する。また、データ分離部３０２は、このストリームに含まれている撮影情報については、動き暈け除去部３０６に送出する。

切り替え信号入力部３０８は、入力された指示が、動き暈け除去画像を出力することを示す場合には、メインストリーム復号部３０３、差分ストリーム復号部３０４を制御し、それぞれの出力先を画像合成部３０５に設定する。この場合、処理はステップＳ９０３を介してステップＳ９０４に進む。

ステップＳ９０４では、メインストリーム復号部３０３は、メインストリームを復号する。ステップＳ９０５では、差分ストリーム復号部３０４は、差分ストリームを復号する。

ステップＳ９０６では、画像合成部３０５は、メインストリームの復号結果と差分ストリームの復号結果とを合成する。即ち、復号したフレーム画像と、復号したサブ画像とを合成した画像（多重輪郭復号画像）を、フレーム毎に生成する。そして画像合成部３０５は、多重輪郭復号画像を動き暈け除去部３０６に送出する。

ステップＳ９０７では、動き暈け除去部３０６は、データ分離部３０２から受けた撮影情報を用いて、多重輪郭復号画像から動き暈けを除去することで、この多重輪郭復号画像を更新する。そして更新した多重輪郭復号画像をセレクタ３０７に送出する。この場合、セレクタ３０７は、この更新した多重輪郭除去画像を後段の画像出力部３０９に送出する。

一方、切り替え信号入力部３０８は、指示が、多重輪郭除去画像を出力することを示す場合には、メインストリーム復号部３０３を制御し、その出力先をセレクタ３０７に設定する。この場合、処理はステップＳ９０３を介してステップＳ９０８に進む。

ステップＳ９０８では、メインストリーム復号部３０３は、メインストリームを復号する。この場合、セレクタ３０７は、メインストリーム復号部３０３により復号されたフレーム画像を、後段の画像出力部３０９に送出する。ステップＳ９０９では、画像出力部３０９は、セレクタ３０７から受けた画像を出力する。

なお、本実施形態では、動き情報については予め撮影情報に含められているものとして説明した。しかし、この動き情報は、各フレーム画像を用いて動きベクトルを求めたりすることで動的に求めることができるので、予め撮影情報に含めることに限定するものではない。

また、本実施形態では、メインストリームの符号化方式としてＨ．２６４、差分ストリームの符号化方式としてＪＰＥＧを採用しているがこれに限定されるものではない。また、本実施形態ではフレーム単位で処理を行っているが、これに限定されるものではなく、画素単位、あるいは、ブロック単位で処理するようにしても良い。

また、図２，３では説明を簡単にするために、各部間で直接データのやり取りを行うようにしているが、やり取りするデータを一端メモリに格納し、そして格納したデータを次の転送先に転送するようにしても良い。そしてこのような構成は如何なる目的のために用いても良い。

また、多重輪郭除去部２０２では、輪郭を検出してローパスフィルタをかけているが、検出方法、フィルタカーネルについては、上記例に限定するものではない。また、本実施形態では各フレームについて差分画像を生成しているが、これに限定するものではなく、周期的にあるいは、シーンチェンジ後のフレームなど、任意のフレームに対してのみ差分画像を生成するようにしても良い。

メインストリーム、差分ストリーム、撮影情報の関連付けについて、本実施形態では、メインストリームの識別コードを差分ストリームと撮影情報に付加している。しかし、関連付けの方法はこれに限定するものではなく、例えば、ストリームおよび情報を規定の順番に並べることによって、各々を同一の画像に対するストリームおよび情報の組として、各々を関連付けることも可能である。

このように、図２に示した構成を有する符号化装置で生成したデータを図３に示した構成を有する復号装置で復号することによって、ジャーキネスの少ない画像と動きぶれの少ない画像を、外部信号により切り替えて、出力することができる。

また、図２に示した構成を有する符号化装置で生成したデータを通常のＨ２６４に準拠した復号装置で復号する場合においても、差分ストリームを処理せずメインストリームのみを復号することにより、ジャーキネスの少ない画像を復号することが可能となる。

また、比較的処理の重い動きぼけ除去処理を実施するモジュールを復号装置側におくことにより、バッテリー駆動の多いカメラに組み込まれる符号化装置の消費電力の増加を最小限におさえることができる。

［第３の実施形態］
図１，２，３に示した各部は全てハードウェアで構成しても良いが、各部を、各部の機能をコンピュータのＣＰＵによって実現させるためのコンピュータプログラムとして実装しても良い。図１０は、上記各実施形態における画像処理装置（符号化装置、復号装置を含む）に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータを適用する装置が行うものとして上述した各処理を実行する。

ＲＡＭ１００２は、外部記憶装置１００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１００７を介して外部から取得したデータ等を一時的に記憶するためのエリアを有する。更に、ＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１００２は、各種のエリアを適宜提供することができる。ＲＯＭ１００３には、ブートプログラムや、本コンピュータの設定データなどが格納されている。

操作部１００４は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。例えば、上記指示はこの操作部１００４を用いて入力しても良い。表示部１００５は、ＣＲＴや液晶画面等により構成されており、ＣＰＵ１００１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置１００６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１００６には、ＯＳ（オペレーティングシステム）や、図１，２，３に示した各部の機能をＣＰＵ１００１に実現させるためのコンピュータプログラムやデータが保存されている。また、処理対象としての動画像のデータや撮影情報などもこの外部記憶装置１００６に保存されていても良い。外部記憶装置１００６に保存されているコンピュータプログラムやデータはＣＰＵ１００１による制御に従って適宜ＲＡＭ１００２にロードされ、ＣＰＵ１００１による処理対象となる。

Ｉ／Ｆ１００７は、外部機器とのデータ通信を行う為のもので、例えば、本コンピュータを上記符号化装置に適用した場合には、このＩ／Ｆ１００７は上記復号装置とのデータ通信の為に用いられる。１００８は上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

Claims (10)

1. 複数のフレーム画像から構成される動画像を入力する手段と、
   前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する手段と、
   前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第１の出力手段と、
   前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第２の出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の出力手段は、前記フレーム画像を構成する各画素に対してラプラシアンフィルタカーネルを用いることで該フレーム画像中の輪郭を検出し、該検出した輪郭に対してローパスフィルタカーネルを用いて該輪郭を暈かすことで、動画像表示用の画像を生成し、出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の出力手段は、間欠パターンと前記フレーム画像の動き情報とを用いて該フレーム画像中の動き暈けを除去することで、静止画像表示用の画像を生成し、出力することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記間欠パターン及び前記動き情報は、前記動画像のデータに付加されていることを特徴とする請求項３に記載の画像処理装置。
5. 前記間欠パターンは前記動画像のデータに付加されており、前記動き情報は、前記フレーム画像から前記第２の出力手段が求めることを特徴とする請求項３に記載の画像処理装置。
6. 複数のフレーム画像から構成される動画像を入力する入力手段と、
   前記入力手段が入力したぞれぞれのフレーム画像について、該フレーム画像中の輪郭を暈かす暈かし手段と、
   前記暈かし手段により得られるそれぞれのフレーム画像を符号化する第１の符号化手段と、
   前記第１の符号化手段が符号化したそれぞれのフレーム画像を復号する復号手段と、
   前記復号手段が復号したそれぞれのフレーム画像と、前記入力手段が入力したそれぞれのフレーム画像とで、対応するフレーム画像同士の差分画像を求める手段と、
   前記差分画像を符号化する第２の符号化手段と、
   前記第１の符号化手段による符号化結果と前記第２の符号化手段による符号化結果とを含むストリームを生成する手段と
   を備える装置が生成した前記ストリームを取得する手段と、
   前記ストリームに含まれている前記第１の符号化手段による符号化結果を復号する第１の復号手段と、
   前記ストリームに含まれている前記第２の符号化手段よる符号化結果を復号する第２の復号手段と、
   動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示を取得する手段と、
   前記指示が、動き暈け除去画像を出力することを示す場合には、前記第１の復号手段による復号結果と前記第２の復号手段による復号結果とを合成し、合成した結果に対して動き暈けを除去する処理を行った結果を出力する手段と、
   前記指示が、多重輪郭除去画像を出力することを示す場合には、前記第１の復号手段による復号結果を出力する手段と
   を備えることを特徴とする画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の入力手段が、複数のフレーム画像から構成される動画像を入力する工程と、
   前記画像処理装置の取得手段が、前記フレーム画像を動画像表示用の画像として表示するのか、静止画像表示用の画像として表示するのかを示す指示を取得する工程と、
   前記画像処理装置の第１の出力手段が、前記指示が、前記フレーム画像を動画像表示用の画像として表示することを示す場合には、前記フレーム画像中の輪郭を暈かす処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を動画像表示用の画像として出力する第１の出力工程と、
   前記画像処理装置の第２の出力手段が、前記指示が、前記フレーム画像を静止画像表示用の画像として表示することを示す場合には、前記フレーム画像中の動き暈けを除去する処理を行うことで該フレーム画像を更新し、該更新したフレーム画像を静止画像表示用の画像として出力する第２の出力工程と
   を備えることを特徴とする画像処理方法。
8. 画像処理装置が行う画像処理方法であって、
   複数のフレーム画像から構成される動画像を入力する入力手段と、
   前記入力手段が入力したぞれぞれのフレーム画像について、該フレーム画像中の輪郭を暈かす暈かし手段と、
   前記暈かし手段により得られるそれぞれのフレーム画像を符号化する第１の符号化手段と、
   前記第１の符号化手段が符号化したそれぞれのフレーム画像を復号する復号手段と、
   前記復号手段が復号したそれぞれのフレーム画像と、前記入力手段が入力したそれぞれのフレーム画像とで、対応するフレーム画像同士の差分画像を求める手段と、
   前記差分画像を符号化する第２の符号化手段と、
   前記第１の符号化手段による符号化結果と前記第２の符号化手段による符号化結果とを含むストリームを生成する手段と
   を備える装置が生成した前記ストリームを、前記画像処理装置の第１の取得手段が取得する工程と、
   前記画像処理装置の第１の復号手段が、前記ストリームに含まれている前記第１の符号化手段による符号化結果を復号する第１の復号工程と、
   前記画像処理装置の第２の復号手段が、前記ストリームに含まれている前記第２の符号化手段よる符号化結果を復号する第２の復号工程と、
   前記画像処理装置の第２の取得手段が、動き暈け除去画像を出力するのか、多重輪郭除去画像を出力するのかを示す指示を取得する工程と、
   前記画像処理装置の第１の出力手段が、前記指示が、動き暈け除去画像を出力することを示す場合には、前記第１の復号工程による復号結果と前記第２の復号工程による復号結果とを合成し、合成した結果に対して動き暈けを除去する処理を行った結果を出力する工程と、
   前記画像処理装置の第２の出力手段が、前記指示が、多重輪郭除去画像を出力することを示す場合には、前記第１の復号工程による復号結果を出力する工程と
   を備えることを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images