JPH114361A - 画像情報処理方法とそれを利用したディジタル撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮像画面の動きを伴う操作でも符号化情報量
の増加を確実に防止することの可能な画像情報処理方法
とそれを利用したディジタル撮像装置を提供する。 【解決手段】 画像を撮像してディジタル映像信号を出
力する撮像素子２と、撮像素子２からＡ／Ｄ変換回路３
を介して得られるディジタル映像信号に所定の加工処理
を施す信号処理回路４と、信号処理回路４により加工処
理が施されて出力されるディジタル映像信号を情報量圧
縮のため符号化する符号化回路５と、これらを制御する
マイコン６とからなる撮像装置において、さらに、ズー
ムスイッチ７等の撮像素子２による撮像画像の動きを検
出する手段を設け、撮像画像が動いている期間は、信号
処理回路４から符号化回路５へ出力されるディジタル映
像信号の情報量を低減するようにし、もって、画像撮像
の動きによる圧縮効率の低下や圧縮率上昇が引き起こす
歪みによる画像の品位の低下を改善する。

Description

【発明の詳細な説明】

【０００１】

【従来の技術】ＣＣＤ等の固体撮像素子を使用して動画
像を電気信号に変換して映像情報として出力・記録可能
な装置として、例えばビデオカメラが既に広く利用され
ており、また、近年においては、映像信号のディジタル
化が進み、映像情報をディジタル信号に変換してこれを
処理して記憶・出力するディジタル・ビデオ・カメラ
や、動画をも撮影可能なディジタル・カメラなどが提供
されてきている。

【０００２】かかるディジタル方式による撮像装置で
は、特に、動画像の処理における情報量を圧縮するた
め、撮像したディジタル映像情報を符号化することによ
り、動画像の高能率符号化が行われるようになった。な
お、このような符号化アルゴリズムの一例として、映像
信号におけるフレーム間の差分を符号化するフレーム間
予測符号化が既に知られている。これは、隣接するフレ
ーム画像間の相関を利用して情報量を低減する符号化方
式である。さらに、この方式に動き補償を加えて、速い
動きを含む画像の符号化効率向上をはかることの可能な
動き補償フレーム間予測符号化も既に知られている。こ
のような符号化方式は、既に、蓄積メディア用の符号化
標準規格であるＭＰＥＧ（Moving Picture Expert Grou
p）や、テレビ電話等、通信用の符号化標準規格であ
る、ＣＣＩＴＴのＨ．２６１等に採用されている。

【０００３】ところで、上記のような符号化技術では、
フレーム間の相関を利用して符号化するため、フレーム
相関が低く、かつ、動き補償の困難な場合には、符号化
した情報量は増加することとなる。すなわち、このよう
なフレーム相関が低く、かつ、動き補償の困難な場合と
は、上記ビデオ・カメラやディジタル・カメラなどにお
いては、例えば、ズーム操作、あるいは、カメラを水平
方向に移動するパン操作、さらには、これを上下に傾斜
させるチルト操作等において、撮像画面が動く時に発生
する場合である。

【０００４】そして、この符号化情報量の増加は、圧縮
率が一定のシステムの場合（以降、タイプＡと呼ぶ）に
おいては、そのまま情報量の圧縮効率の低下につなが
る。また、圧縮後の平均情報量が一定になるように圧縮
率をコントロールするシステムの場合（以降、タイプＢ
と呼ぶ）には、動画画像の情報圧縮率を更に上げる必要
があり、そのため、表示画面がブロック状に分割されて
連続性が損なわれるブロック歪み、あるいは、表示画面
における輪郭部分にちらつきが現われるモスキート歪み
等が増加することになる。

【０００５】なお、この種の問題を解消するため、すな
わち、フレーム相関の低い画像に対しても画質の劣化を
減少するため、符号化手段は、カメラ制御情報に基づい
て、且つ、当該制御情報も含めて符号化を行うことによ
り符号化効率を高めるものが、例えば特開平７−１６２
８５３号公報により知られている。

【０００６】

【発明が解決しようとする課題】すなわち、上記に説明
した従来技術によれば、撮像装置による撮像画面の動き
を伴う操作においては、符号化情報量の増加により得ら
れる画像の劣化を招き、また、後者のように、カメラ制
御情報をも含めて符号化を行うことは、現在、既に規格
化されている記録フォーマットとの整合性をも考慮しな
ければならず、必ずしも実用的な解決手段とは思われ
ず、さらには、符号化情報量の増加を招きかねない。

【０００７】そこで、本発明では、上記従来技術に鑑
み、現状の撮像装置においても比較的簡単にかつ確実に
実現することが可能であり、かつ、撮像画面の動きを伴
う操作においても符号化情報量の増加を確実に防止する
ことの可能な画像情報処理方法とそれを利用したディジ
タル撮像装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】ところで、本発明では、
以下の本発明者の従来技術に対する考察に基づいてなさ
れている。すなわち、撮像装置において操作をしている
時について考えると、上述した通り、撮像画面の動きは
符号化情報量の増加を発生させる。そして、上記タイプ
Ａのシステムでは、その符号化した情報量が増加して圧
縮効率の低下を招き、タイプＢのシステムではブロック
歪みやモスキート歪みなどによる画像の品位の低下が著
しい。ところで、一般に、人間の視覚において画像を目
で見る場合には、画面が動いている時には、これが止ま
っている時に較べ、表示される画面の細部の視認性は低
下する。これに対して、発生するブロック歪みはその表
示位置が固定しているため、人間の視覚による視認性が
高い。すなわち、より歪みが目立つ事になる。

【０００９】そこで、本発明では、まず、撮像した画像
をディジタル映像信号に変換して所定の処理を施した
後、このディジタル映像信号に、その情報量を圧縮する
ための符号化処理を施して出力する画像情報処理方法に
おいて、前記撮像画像の画面に動きを伴う操作を行って
いる期間は、前記所定の処理が施されて前記符号化処理
により符号化処理されるディジタル映像信号の情報量を
低減する画像情報処理方法が提案される。

【００１０】また、本発明では、前記した画像情報処理
方法において、前記撮像画像の画面に動きを伴う操作を
行っている期間を、当該撮像を行う装置自体の動きによ
り検知するものである。

【００１１】本発明では、前記した画像情報処理方法に
おいて、前記符号化処理されるディジタル映像信号の情
報量を低減をフィルタリング処理により行う。

【００１２】本発明では、前記した画像情報処理方法に
おいて、前記撮像画像の画面に動きを伴う操作とは、ズ
ーム操作、パン操作、チルト操作の少なくとも１つの操
作である。

【００１３】本発明では、前記した画像情報処理方法に
おいて、前記符号化処理されるディジタル映像信号の情
報量の低減を前記撮像画像の動きに対応して変動させ
る。

【００１４】また、本発明では、やはり上記の目的を達
成するため、画像を撮像してディジタル映像信号を出力
する撮像手段と、前記撮像手段の出力するディジタル映
像信号に所定の加工処理を施す加工処理手段と、前記加
工処理手段により所定の加工処理が施されて出力される
ディジタル映像信号を情報量圧縮のため符号化する符号
化手段と、少なくとも前記撮像手段を含む手段を制御す
る制御手段とからなる撮像装置であって、さらに、前記
撮像手段による撮像画像の動きを検出する手段と、前記
動き検出手段からの出力により前記加工処理手段から出
力されるディジタル映像信号の情報量を低減する手段を
備えたディジタル撮像装置が提案されている。

【００１５】また、本発明では、前記したディジタル撮
像装置において、前記動き検出手段は前記撮像手段のズ
ーム動作を行うズームスイッチである。

【００１６】さらに、本発明では、前記したディジタル
撮像装置において、前記動き検出手段は、前記ディジタ
ル撮像装置自体の動きを検出する手段により構成されて
いる。

【００１７】本発明では、前記したディジタル撮像装置
において、前記加工処理手段は少なくともフィルタリン
グ機能を備えており、前記加工処理手段から出力される
ディジタル映像信号の情報量の低減を、当該フィルタリ
ング機能により行う。

【００１８】また、本発明では、前記したディジタル撮
像装置において、前記加工処理手段は、前記動き検出手
段により検出された動きの大きさに対応して、その加工
処理を変動させる。

【００１９】更に詳細に説明すると、上記課題を解決す
るために、本発明では、画面の動きを伴う操作をしてい
る時には、その操作を検出して符号化前のディジタル映
像信号を加工し、符号化手段の入力の画像情報量をあら
かじめ低減してしまうようにする。かつ、符号化前の画
像情報量の低減を操作の間だけに限定し、操作終了時に
は情報量を元に戻すようにする。さらに、画像情報量の
低減の割合は、画面の動きの速さに応じて設定するよう
にするものである。

【００２０】このような構成によれば、まず、符号化前
の画像情報量を低減するので、符号化した情報量が減少
する。従って、画面の動きに起因する符号化情報量の増
加が発生しても符号化後のトータルの情報量の増加を抑
えられる。ところが、符号化前の画像情報量を低減する
という事は、すなわち画像の画質を劣化させるという事
であり望ましくない。

【００２１】そこで、前述した動画面の視認性の低下を
利用する。すなわち、画像を目で見る場合においては、
撮像画面が動いている時は、止まっている時に較べて画
面の細部の視認性は低下する。つまり、撮像画面が動い
ている時には、画質の劣化が検知され難くなるので、そ
の期間だけにこの制御を限定する。具体的には、操作を
開始して画面が動き出すと同時に符号化前の画像情報量
の低減を行い、操作を終了して画面の動きが止まると同
時に符号化前の画像情報量を元に戻す制御を行うように
する。さらに、撮像画面の動きが速い程、視認性は低下
し画質の劣化が検知され難くなるので、動きの速さに応
じて制御量を調節する。画面の動きの速い操作の時は、
画質劣化が激しくても検知されないので、符号化前の画
像情報量の低減の割合を大きくし、逆に動きの遅い操作
の時は、低減の割合を小さくする。画面の動きの速い時
程それに起因する符号化情報量の増加は大きいので、動
きの速度に応じて符号化前の画像情報量の低減の割合を
大きく出来る事は非常に有効な効果をもたらす。以上の
ようにして、画質劣化を検知されることなく、符号化の
トータルの情報量の増加を抑えることが出来るので、撮
像画面の動きを伴う操作をしている時に発生する圧縮効
率の低下、あるいは、歪による画像の品位の低下を改善
出来る。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、添付の図面を参照しながら詳細に説明する。

【００２３】まず、図１には、本発明の画像情報処理方
法を実施するディジタル撮像装置の一実施の形態のシス
テム構成がブロック図により示されており、この図にお
いて、符号１は光学レンズであり、この光学レンズ１に
より、入射した光信号（撮影した動画像）を固体撮像素
子であるＣＣＤ(Charge Coupled Device)２上に結像さ
せる。このＣＣＤ２は、その撮像表面上に結像した光信
号を電気信号に変換し、これを撮像信号として出力す
る。また、図中の符号３はＡ／Ｄ変換回路であり、この
Ａ／Ｄ変換回路３は、上記ＣＣＤ２からのアナログの撮
像信号をディジタル信号に変換する。その後、信号処理
回路４は、このディジタル化された撮像信号に対して、
例えば、ガンマ補正やホワイトバランス補正等、既に一
般に知られている画像処理を施して、輝度信号及び色差
信号からなるディジタルビデオ信号を生成し、さらに、
フィルタリングと呼ばれる処理を施して画像情報量を制
御して出力する。ここでは、撮像装置全体を符号１００
で示す。

【００２４】なお、以上の構成や処理は、従来の一般的
なディジタル撮像装置の構成及びその処理動作と同様で
あり詳述は行わず、それらの制御はこの撮像装置を制御
するマイコン６で行う。また、さらに、符号化回路５
は、上記信号処理回路４の出力するディジタルビデオ信
号を情報量圧縮のため、（ここでは、例えば、上記ＭＰ
ＥＧにより）符号化して出力する。なお、このディジタ
ル撮像装置のズーム操作は、装置の一部に設けられたズ
ームスイッチ７によって行われ、この操作に伴って、テ
レ方向あるいはワイド方向の指示がマイコン６に与えら
れる。そこで、マイコン６は、その指令に基づき、上記
レンズ１のズーム制御を行うこととなる。なお、ここ
で、本発明の画像情報処理方法に関わる上記信号処理回
路４から出力される画像情報量の制御にいても、同様
に、上記のマイコン６により制御されている。

【００２５】本発明では、符号化情報量の増加を伴う原
因である撮像画面の動きを伴う操作として、例えば、ズ
ーム操作、パン操作、チルト操作等を挙げており、上記
の実施の形態では、特に、ズーム操作をする場合を想定
したものである。そこで、本実施の形態では、上述のよ
うに、ズームスイッチ７からの指令に基づいて、ズーム
操作中は、上記マイコン６はレンズ１のズーム制御を行
うと同時に、信号処理回路４に対しフィルタリング等の
処理により、符号化回路５に渡す信号そのものの画像情
報量をあらかじめ低減するように制御する。また、上記
マイコン６はこのズーム操作を行っていない時には、信
号処理回路４に対しフィルタリング等の処理による画像
情報量の制限を最小にするよう制御している。

【００２６】これによって、前記信号処理回路４から符
号化回路５へ出力されるディジタル信号の情報量８を、
換言すれば、符号化回路５により圧縮処理される符号化
前の情報量８を低減するので、この符号化回路５では、
撮像される画像の動きに起因する符号化情報量の増加が
発生しても、符号化回路５による符号化後の情報量９の
増加を抑えられることが可能になる。

【００２７】また、信号処理回路４における上述したフ
ィルタリング等の処理としては、映像信号における輝度
信号、あるいは、その色信号の周波数特性などの制御が
考えられる。これは、例えば、通常の撮像動作時には、
信号処理回路４における輝度信号や色信号の周波数特性
はフラットにしておく。一方、ズーム操作をしている
時、すなわち、撮像画面が動いている時には、それらの
周波数特性をローパスフィルター特性にして、画面上の
空間周波数の内の高周波成分を落とすようにする。

【００２８】このように、画面上の空間周波数内の高周
波成分を落とすことにより、信号処理回路４から符号化
回路５へ出力されるディジタル信号の情報量８を低減し
て符号化した後の情報量は下げることが可能になるが、
他方で、この画面の空間周波数内の高周波成分の低減
は、画像の解像感（度）に影響を与えるため、画像がボ
ケた様に感じる。しかしながら、既に上記にも述べたよ
うに、人間の視覚にとって、画面が動いている時には画
像の細かい解像度は検知し難くなる。そのため、このズ
ーム操作中だけ高周波成分を落として、ズーム操作が終
了した時に撮像した映像を元に戻しても、実際には、こ
のズーム操作中のボケは人間の視覚には検知されず、画
面がボケた様には感じられない。

【００２９】上記の実施の形態では、ズーム操作中に
は、信号処理回路４におけるフィルターのカットオフ周
波数を通常動作時よりも低い所定の値に低下させるもの
として説明したが、しかしながら、これに代えて、例え
ば、この信号処理回路４のフィルターのカットオフ周波
数を、図２に示すように、ズームのスピードに連動して
変えるようにすれば、より細かな制御が可能となる。す
なわち、ズームスピードが速いときは、画像の動きによ
る符号化情報量の増加は大きくなる。その反面、人間の
視覚は、画面の動きが速い分だけ解像度の劣化を検知し
難くなる。そこで、その分だけカットオフ周波数を低く
設定すれば、信号処理回路４におけるフィルターの高周
波成分を多く落とし、符号化前の情報量をより低減させ
る事が出来る。逆に、ズームスピードが遅いときには、
画像の動きによる符号化情報量の増加は小さく、また、
解像度の劣化は検知しやすくなる。そこで、カットオフ
周波数を比較的高く設定し、高周波成分を落とす量を少
なく、つまり解像度の劣化を少なくする。

【００３０】また、上記の実施の形態では、符号化情報
量の増加を伴う原因である撮像画面の動きを伴う操作と
して、ズーム操作を検知し、このズーム操作中に信号処
理回路４から符号化回路５へ出力されるディジタル信号
の情報量８を低減するものとして説明したが、図３に
は、撮像装置１００に、さらに、装置自体の動き検出機
能を持つ第２の実施の形態のブロック図を示す。図から
も明らかなように、この実施の形態では、上記図１に示
したズームスイッチ７に代え、あるいは、ズームスイッ
チ７に追加して、さらに、動き検出回路１０を備えたも
のである。なお、この動き検出回路１０としては、例え
ば、加速度センサや角加速度センサを利用して構成する
ことが可能であり、これにより、例えばパン操作や、チ
ルト操作における撮像装置１００の動きの速さを検出
し、その動きの速さに応じた出力をマイコン６に渡す働
きをする。その他、上記図１と同じ符号が付された構成
部分は、上記と同様であり、ここではその説明を省略す
る。

【００３１】なお、この図３に示した実施の形態になる
撮像装置１００では、被写体を追尾するためにこの撮像
装置１００をパン、あるいは、チルトする操作を行った
時、又は、撮像装置１００を片手で持ちながら操作し、
その際に、手ブレが発生した時について考える。この時
には、この撮像装置１００の動きに伴って、装置により
撮像される画面にも動きが伴う。そこで、この時の撮像
装置１００の動きを上記動き検出回路１０で検出し、そ
の出力に応じて信号処理回路４に対し、フィルタリング
等の処理を施した後に符号化回路５に渡す信号そのもの
の画像情報量をあらかじめ低減するように制御する。こ
のようにすれば、上記図１に示した実施の形態と同様
に、撮像した画面自体に動きが伴う場合には、人間の視
覚に対しては画像の劣化を感じさせずに、画面の動きに
起因する符号化後の情報量９の増加を抑えることが可能
になる。

【００３２】上記の実施の形態では、上記動き検出回路
１０として、加速度センサや角加速度センサを利用する
ものとして説明したが、しかしながら、本発明はこれの
みに限定されることなく、例えば、撮像された画像を分
析することにより撮像画面の動きを検出するようにする
ことも可能である。

【００３３】さらに、図４及び図５には、例えば監視カ
メラ等において本発明の撮像装置１００を採用した実施
の形態がブロック図によって示されている。図にも明ら
かなように、この実施の形態では、この撮像装置１００
を自動的にパン操作、及び／又は、チルト操作が出来る
よう、駆動手段１１を備えたものである。なお、この駆
動手段１１としては、例えば、電動雲台２００などがあ
り、その内部には電動モータやギアを含む駆動機構とそ
れを制御する制御手段を備えている。この場合には、こ
の駆動手段１１から、より具体的には、駆動手段１１の
制御手段から、撮像装置１００のパン操作やチルトの操
作を指令する制御信号が出力されることから、上記第２
の実施の形態のように装置自体の動き検出機能を持つ必
要は無く、その駆動情報をそのままマイコン６に伝えれ
ばよい。なお、画面の動きを伴う操作をしたときのフィ
ルタリングと、画像の劣化を感じさせずに動きに起因す
る符号化後の情報量９の増加を抑える関係は、前の実施
例と同様である。また、マイコン６についても、撮像装
置１００側に設けても、あるいは、電動雲台２００側に
設けることも可能である。

【００３４】

【発明の効果】以上の詳細な説明からも明らかなよう
に、本発明によれば、撮像画面の動きを伴う操作時にお
いて、撮像画面の動きに起因する符号化情報量の増加に
よる圧縮効率の低下を改善することが出来、または、撮
像画面の動きに起因する圧縮率上昇が引き起こす歪によ
る画像の品位の低下を改善することが出来る画像情報処
理方法とそれを利用したディジタル撮像装置を提供する
という優れた効果を発揮する。

【図面の簡単な説明】

【図１】本発明の画像情報処理方法を実施するディジタ
ル撮像装置の一実施の形態のシステム構成を示すブロッ
ク図である。

【図２】上記ディジタル撮像装置におけるフィルターの
カットオフ周波数特性を示す図である。

【図３】本発明の第２の実施の形態になるディジタル撮
像装置のシステム構成を示すブロック図である。

【図４】上記本発明のディジタル撮像装置を監視カメラ
において適用した実施の形態のシステム構成を示すブロ
ック図である。

【図５】上記監視カメラに適用したディジタル撮像装置
の外観を示す斜視図である。

【符号の説明】

１…レンズ ２…撮像素子 ３…Ａ／Ｄ変換回路 ４…信号処理回路 ５…符号化回路 ６…マイコン ７…ズームスイッチ ８…符号化前信号 ９…符号化後信号 １０…動き検出回路 １１…駆動手段 １００ 撮像装置

Claims (10)

【特許請求の範囲】
1. 【請求項１】 撮像した画像をディジタル映像信号に変
   換して所定の処理を施した後、このディジタル映像信号
   に、その情報量を圧縮するための符号化処理を施して出
   力する画像情報処理方法において、前記撮像画像の画面
   に動きを伴う操作を行っている期間は、前記所定の処理
   が施されて前記符号化処理により符号化処理されるディ
   ジタル映像信号の情報量を低減することを特徴とする画
   像情報処理方法。
2. 【請求項２】 前記請求項１に記載した画像情報処理方
   法において、前記撮像画像の画面に動きを伴う操作を行
   っている期間を、当該撮像を行う装置自体の動きにより
   検知することを特徴とする画像情報処理方法。
3. 【請求項３】 前記請求項１に記載した画像情報処理方
   法において、前記符号化処理されるディジタル映像信号
   の情報量を低減を、フィルタリング処理により行うこと
   を特徴とする画像情報処理方法。
4. 【請求項４】 前記請求項１に記載した画像情報処理方
   法において、前記撮像画像の画面に動きを伴う操作と
   は、ズーム操作、パン操作、チルト操作の少なくとも１
   つの操作であることを特徴とする画像情報処理方法。
5. 【請求項５】 前記請求項１に記載した画像情報処理方
   法において、前記符号化処理されるディジタル映像信号
   の情報量の低減を、前記撮像画像の動きに対応して変動
   させることを特徴とする画像情報処理方法。
6. 【請求項６】 画像を撮像してディジタル映像信号を出
   力する撮像手段と、前記撮像手段の出力するディジタル
   映像信号に所定の加工処理を施す加工処理手段と、前記
   加工処理手段により所定の加工処理が施されて出力され
   るディジタル映像信号を情報量圧縮のため符号化する符
   号化手段と、少なくとも前記撮像手段を含む手段を制御
   する制御手段とからなる撮像装置であって、さらに、前
   記撮像手段による撮像画像の動きを検出する手段と、前
   記動き検出手段からの出力により前記加工処理手段から
   出力されるディジタル映像信号の情報量を低減する手段
   を備えたことを特徴とするディジタル撮像装置。
7. 【請求項７】 前記請求項６に記載したディジタル撮像
   装置において、前記動き検出手段は前記撮像手段のズー
   ム動作を行うズームスイッチであることを特徴とするデ
   ィジタル撮像装置。
8. 【請求項８】 前記請求項６に記載したディジタル撮像
   装置において、前記動き検出手段は、前記ディジタル撮
   像装置自体の動きを検出する手段により構成されている
   ことを特徴とするディジタル撮像装置。
9. 【請求項９】 前記請求項６に記載したディジタル撮像
   装置において、前記加工処理手段は少なくともフィルタ
   リング機能を備えており、前記加工処理手段から出力さ
   れるディジタル映像信号の情報量の低減を、当該フィル
   タリング機能により行うことを特徴とするディジタル撮
   像装置。
10. 【請求項１０】 前記請求項６に記載したディジタル撮
    像装置において、前記加工処理手段は、前記動き検出手
    段により検出された動きの大きさに対応して変動させる
    ことを特徴とするディジタル撮像装置。