JPH09181951A

JPH09181951A - 映像入力装置

Info

Publication number: JPH09181951A
Application number: JP7337340A
Authority: JP
Inventors: Makoto Senda; 誠千田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-12-25
Filing date: 1995-12-25
Publication date: 1997-07-11

Abstract

(57)【要約】【課題】動画像出力と高画質静止画像出力とを自動的
に切替える。【解決手段】カメラ部１からの映像信号は映像信号処
理部３で処理された後、グラフィックメモリ部１４から
の取込み枠のデータと共にモニタ１６に表示されると共
に蓄積部６に蓄積される。映像変化検知部３０はカメラ
部３からの現フレーム画像と映像メモリ部４からの前フ
レーム画像とから入力画像が動画か静止画かを判別し、
静止画のとき、画面分割により取込んだ画像を、映像合
成処理部１７、映像合成メモリ部１８において処理する
ことにより、１枚の高解像度静止画像を作成して蓄積部
６、表示部８、出力部９、通信部１０等に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像を入力して高画
質な静止画を取り込み処理をする電子カメラ等の映像入
力装置に関するものである。

【０００２】

【従来の技術】従来の映像入力装置は高精細画像の静止
画を扱うことが可能なほどカメラの解像度は高くない。
現在のカメラの入力の有効画素は４０万画素程度であ
り、また、このカメラで映像された画像は、標準の映像
信号（例えば、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭなど）に
よる出力が一般的である。そのため、従来のカメラで高
画質な静止画像を得るには、取込む画面全体を複数画面
に分割して取込んだ後に、各分割画面を合成して高画質
な静止画像にする手法を使用している。

【０００３】以下に従来の映像入力装置について図１６
を用いて構成及び動作を説明する。１は人物や書画を撮
像するカメラ部、２はカメラ部１の撮像範囲を移動させ
るための駆動部、３はカメラ部１から入力された映像信
号をあらゆる用途で使用するために映像データに変換す
る処理を行う映像入力処理部、４は映像入力処理部３か
らの映像データを記憶する映像メモリ部、５は映像を入
力して処理し出力するまでのすべての制御を行う全体制
御部、６は映像データを格納する蓄積部、７は操作部、
８は映像データを表示する表示部、９は映像データを印
刷する出力部、１０は相手端末と通信し、映像データを
送信する通信部である。

【０００４】次に、高画質映像入力をする場合につい
て、撮像対象となる全画面領域を複数画面に分割し、分
割された各画面を順次取込み、その取込んだ各画面を合
成して高画質な静止画を得る動作を図１６を用いて説明
する。まず、全体制御部５からの指示により駆動部２を
駆動し、カメラ部１からの映像領域を所定の位置に合わ
せる。次に、カメラ部１から入力された映像信号が映像
入力処理部３で処理されて映像データとなる。この映像
入力処理部３では、ＮＴＳＣやＰＡＬなどのコンポジッ
ト信号であれば、Ｙ信号（輝度信号）とＣ信号（色差信
号）とにＹＣ分離し、更に、Ｃ信号をＣｒ、Ｃｂ信号の
色差信号に分離して、Ｙ信号、Ｃｒ信号、Ｃｂ信号と
し、その後、Ａ／Ｄ変換する。更に、色空間変換が必要
であれば、Ｒ信号，Ｇ信号，Ｂ信号に色空間変換する処
理が施され、また、フォーマット変換や解像度変換や拡
大／縮小などが必要であれば、画素密度変換処理やそれ
に伴うフィルタ等による補間処理等が施される。このよ
うにして映像処理された映像データを映像メモリ部４の
指定された領域に記憶する。

【０００５】上記動作を分割された画面毎に繰返し行う
ことにより、映像メモリ部４には映像対象である全画面
領域の映像データが記憶される。この各画面の画像デー
タを張り合わせて合成することで一つの高画質な静止画
データが得られ、その高画質静止画像データを全体制御
部５が蓄積したい場合は蓄積部６へ転送し格納する。ま
た、高画質静止画像データを表示したい場合は表示部８
へ、紙面に出力したい場合は出力部９へ、遠隔地や他の
端末に送信したい場合は通信部１０へそれぞれ転送す
る。

【０００６】図１７は上記動作を示すフローチャートで
ある。まず、ステップＳ６１で最初に静止画入力か否か
を調べ、静止画入力でない場合には、ステップＳ６２で
カメラ部１から動画像入力を行い、ステップＳ６３でそ
の入力した動画像を表示部へ転送し表示する。これをス
テップＳ６４で終了と判断されるまで行う。ステップＳ
６１で静止画像入力の場合には、ステップＳ６５で取り
込む静止画の解像度を設定する。通常のカメラ撮像可能
領域の撮像能力は、ＮＴＳＣの場合は水平７６８画素×
垂直４９４ラインであり、ＰＡＬの場合は水平７５２画
素×垂直５８２ラインである。この撮像能力を撮像対象
物の寸法で割ったものが解像度となる。ここで、解像度
を向上させる方法として、その撮像対象物を分割して入
力する方法があるので、上述の撮像能力を越えるような
高画質の静止画を入力するためにステップＳ６６で画面
分割数を設定する。

【０００７】次に、映像入力手順に入る。まず、ステッ
プＳ５７でｍ＝０とした後、ステップＳ５８でｍ＝ｍ＋
１とする。次にステップＳ６９で上記画面分割数に合わ
せて、カメラ部１の駆動部２を可動し、最初の撮像領域
位置に合わせる。その後、ステップＳ７０でカメラ部１
からその撮像領域の映像を入力し、映像入力処理部３で
処理した後、ステップＳ７１で映像メモリ部４の指定領
域に処理した映像を記憶する。このステップＳ６８〜Ｓ
７１の処理は画面分割数分繰り返し行われ、各映像入力
手順ごとに撮像領域と映像メモリ部４のメモリ空間を変
更していく。そしてステップＳ７２でｍ＝ｎとなったと
き、指定された全画面の分割入力を終了することで静止
画入力を完了する。次にステップＳ７３で映像データが
蓄積部６に転送され、蓄積される。その後、更に、静止
画入力あるいは動画入力が必要な場合はステップＳ６１
〜Ｓ７３の処理を継続し、ステップＳ７４で入力を終了
すると判断した場合はすべての処理を終了する。

【０００８】次に図１８において、ステップＳ７５で蓄
積部６に蓄積された静止画像を出力するか否かを調べ、
出力するのであれば、ステップＳ７６で蓄積部６の指定
されたデータを出力部９に転送して紙面に印刷する。ま
たステップＳ７７で表示するか否かを調べ、表示する場
合は、ステップＳ７８で蓄積部６のデータを表示部８に
転送し、ＣＲＴ等でモニタする。さらにステップＳ７９
で外部と通信するか否かを調べ、通信する場合は、ステ
ップＳ８０で蓄積部６のデータを通信部１０に転送して
相手先に転送する。引き続いてステップＳ８１で転送要
求があるか否かを調べ、なければ終了とする。

【０００９】

【発明が解決しようとする課題】しかしながら、上述の
従来例では、動画像をモニタに表示しながら前述のよう
な高画質静止画像の出力に切り替える際に、操作者によ
るキー入力、マウス入力、リモコン入力等からの操作を
必要としていた。即ち、動画像と高画質静止画像との切
り替えを手動操作で行うという手間がかかる上に、モニ
タを目視することにより、入力されている映像が静止し
ているか否かを判断しなければならないので、取り込む
タイミングを調整するのが難しいという問題があった。
また、必要な時に即時に切り替えることができず、切替
えタイミングが遅れてしまうという問題があった。

【００１０】そこで、本発明は動画像と高解像度静止画
像とを自動的に選択して出力することのできる映像入力
装置を得ることを目的とする。

【００１１】

【課題を解決するための手段】本発明においては、画像
を入力する画像入力手段と、上記画像入力手段から入力
された画像の変化を検出する検出手段と、上記検出手段
が画像の変化を検出しないとき上記画像入力手段から入
力された画像から高解像度静止画像を作成する高解像度
静止画像作成手段とを設けている。

【００１２】

【作用】本発明によれば、検出手段が画像の変化なしと
検出したとき、即ち，静止画像が入力されたことを検出
すると、この入力静止画像を用いて高解像度静止画像作
成手段が高解像度静止画像を作成し、これを出力して表
示、印刷、送信することができる。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
と共に説明する。図１は第１の実施の形態を示すブロッ
ク図、図２は第２の実施の形態を示すブロック図であ
る。第１の実施の形態は画面合成により高画質静止画像
を得る場合であり、第２の実施の形態は後述する画素ず
らしにより高画質静止画像を得る場合である。尚、図
１、図２においては、図１６の従来例と同一部分には同
一符号を付して説明を省略し、新たに追加された部分に
ついて説明する。

【００１４】図１、図２において、１１はズーム機能に
より倍率を上げて撮像サイズを小さくすることで解像度
を向上させる機能と、レンズを用いた光軸可変機能によ
りＣＣＤの各素子の撮像範囲より微小に光軸をずらすこ
とで解像度を向上させる機能（本機能は、図１の第１の
実施の形態ではなくてもよいが、図２の第２の実施の形
態では必須である）を有するレンズ部、１２は全体制御
部５からの指示によりレンズ部１１に対して倍率や光軸
のズレ量を制御するレンズ制御部、１３は映像メモリ部
４から出力された画像データとグラフィックメモリ部１
４からのグラフィックデータとを合成するグラフィック
合成部、１４は全体制御部５からのグラフィックデータ
を格納するグラフィックメモリ部、１５はグラフィック
合成部１３からの映像信号をモニタに表示させるための
信号に変換処理する映像出力処理部、８は表示部、３０
は映像メモリ４部の前映像データとカメラ部１から入力
された現映像データを比較して映像の変化を検出する映
像変化検知部である。

【００１５】図１において、１７は映像入力処理部３で
処理された画像データを映像合成メモリ部１８に記憶さ
せる映像合成処理部である。

【００１６】図２において、２０は後述する平行平板に
よる画素ずらしされた色フィルタデータをカメラから入
力して、画素ずらしデータメモリ部２１に記憶させる画
素ずらしデータ合成処理部、２２は画素ずらしデータメ
モリ部２１の色フィルタデータを画像データに変換処理
する静止画像処理部である。

【００１７】図３はカメラ部１の内部ブロックである。
２０１は絞りシャッタ、２０２は光学的ローパスフィル
タ、２０３は同期信号発生部（図示せず）からの同期信
号に同期して光電変換素子２０４を駆動するＣＣＤドラ
イバ、２０４は撮像された対象物の光信号を受光して電
気信号に変換して出力する光電変換素子、２０５は光電
変換素子２０４から出力された信号を増幅する自動ゲイ
ンコントロール部（ＡＧＣ）、２０６は光電変換素子２
０４からの信号により絞り量を測定するための絞り測光
回路、２０７は絞り測光回路２０６により絞りシャッタ
を駆動して絞りを調整するアイリス駆動部、２０８は光
軸を微小移動して画素ずらしを行う平行平板（ただし、
画素ずらしによる画像データ取込みの場合には、この平
行平板２０８は必要であるが、映像合成による画像デー
タ取込みの場合には、平行平板２０８はなくてもよ
い）、２０９は光電変換素子２０４から出力される信号
の出力方法を制御するフレーム／フィールド読みだし制
御部（画素ずらしによるデータ取込みのときのみフレー
ム読み出しをする）、２１０はローパスフィルタ２０２
を抜き差しするためのローパスフィルタ駆動部（ただ
し、平行平板２０８を使用しない場合は、フィルタ２０
２は付けたままとなる）、２１１は平行平板２０８の光
軸ずらしを制御する平行平板駆動部（平行平板２０８を
使用する際に必要）である。

【００１８】このカメラ部１から撮像された光情報は電
気信号に変換されて出力され、絞り調整やゲイン調整に
より、その出力レベルが適正な範囲に入るように自動調
整される。またこのカメラ部１は、動画像と静止画像の
各々に適した信号を出力可能に構成されており、要求に
応じてモード切り替えが可能に構成されている。

【００１９】次にカメラ部１の出力信号のモードについ
て、図５、図６を用いて説明する。図５は光電変換素子
２０４の素子上のフィルタ配列の図である。この配列は
補色市松配列と呼ばれ、Ｃｙ（シアン）、Ｙｅ（イエロ
ー）、Ｇ（グリーン）、Ｍｇ（マゼンダ）の各フィルタ
が、図のような配列で配置されている。（ただし、Ｇは
補色でなく原色である）この配列の利点は、原色である
Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）のフィル
タを通して受光するよりも、補色であるＣｙ、Ｙｅ、Ｍ
ｇのフィルタを通して受光するほうが、各補色に対し
て、原色が２色混合されて受光されるので、それだけ多
くの情報が得られ感度が良くなることにある。また、Ｇ
とＭｇの配列は、ラインごとに交互に配列されており、
更に、フィルタ配列の上下のフィルタ信号を加算して出
力されるため、カメラ部から出力される信号は図６
（ａ）のフィールド読みだしモードに示すように、奇数
ラインはＣｙ＋Ｇ、Ｙｅ＋Ｍｇを繰り返し、偶数ライン
はＣｙ＋Ｍｇ、Ｙｃ＋Ｇを繰り返す。

【００２０】ここで、Ｙ信号とＣ信号は、下式により容
易に得られるようにフィルタ特性が設定されている。Ｙ＝｛（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）｝×１／２Ｒ−Ｙ＝｛（Ｙｅ＋Ｍｇ）−（Ｃｙ＋Ｇ）｝−（Ｂ−
Ｙ）＝｛（Ｙｅ＋Ｇ）−（Ｃｙ＋Ｍｇ）｝従って、映像入力処理部３では、上記のような加減算を
行うことにより、Ｙ信号とＣ信号とが生成される。つま
り、動画像処理あるいは画面を空間的に分割して静止画
像処理する場合には、上記のようなフィールド読みだし
のモードが使用される。

【００２１】次に、静止画像モードの場合は、上記のモ
ード以外に半画素ずらし、または、１画素分ずらして各
フィルタごとに撮像することによって、解像度を向上さ
せたり、光軸が同一のフィルタ情報（Ｃｙ、Ｙｅ、Ｍ
ｇ、Ｇｒ）が得られ色再現性の非常に優れた静止画像を
生成するモードがある。この場合は、フィールド読み出
しモードとは異なり上下のフィルタイメージを加算せず
にフィルタイメージのまま読み出すフレーム読み出しモ
ードを使用する。このフレーム読み出しモードを、図６
（ｂ）（ｃ）に示す。（ｂ）については、フィルタ配列
のそのままを順次読み出す順次読み出しである。（ｃ）
については、フィルタ配列の奇数列のみを最初に読み出
し、偶数列のみを次に読み出すことによるフィルタ種別
ごとの読み出しである。このフレーム読み出しの場合に
は、フィールド読み出しとは信号内容が異なるため、そ
の後の映像信号処理手順も異なる処理を行う必要があ
る。

【００２２】図４は、映像入力処理部３の内部構成であ
る。３０１は水平ライン２ライン分の遅延回路で、カメ
ラ部１からの信号に対して、遅延無し（０Ｈ）１ライン
遅延（１Ｈ）２ライン遅延（２Ｈ）の信号を出力する。
出力信号は図６と同じである。３０２は遅延回路３０１
からの出力信号の奇数番目と偶数番目とを加算すること
によりＹ信号を生成し、遅延回路３０１により生成した
３ライン分の信号を利用して、水平／垂直のアパーチャ
補正の処理を施す水平／垂直アパーチャ補正部、３０３
は水平／垂直アパーチャ補正部３０２から出力されたＹ
信号にガンマ補正処理を施すガンマ補正部、３０４は遅
延回路３０１からの３ライン分の信号を利用して、各信
号の奇数番目と偶数番目とを加減算することによりＹ信
号、Ｃｒ（Ｒ−Ｙ）信号、Ｃｂ（Ｂ−Ｙ）信号を生成す
る同期検波部である。

【００２３】３０５はＹＣｒＣｂ信号をＲＧＢ信号に色
変換するマトリクス変換を施すＲＧＢマトリクス変換
部、３０６は撮像時の光源の色温度の変化に対してＲＧ
Ｂの色再現性を一定に保つためにＲＧＢ信号を合成して
得られる白レベルが基準となる白レベルとなるようにＲ
ＧＢ信号に調整を施すホワイトバランス調整部、３０７
はＲＧＢ信号にガンマ補正処理を施すガンマ補正処理
部、３０８は、ＲＧＢ信号をＣｒ（Ｒ−Ｙ）信号とＣｂ
（Ｂ−Ｙ）信号とに色変換する色差マトリクス変換部で
ある。この映像入力処理部３は、カメラ部１から受信し
た光情報の電気信号をＹ、Ｕ、Ｖ信号の映像情報に変換
して出力し、アパーチャ補正やガンマ補正、色信号に対
してはホワイトバランス調整を施し、その映像情報を適
正なレベルに自動調整する。

【００２４】次に、図２の静止画像処理部２２について
説明する。内部構成は映像入力処理部３とほぼ同じで、
画素ずらしデータメモリ部２１から、フィルタ情報（Ｃ
ｙ、Ｙｅ、Ｍｇ、Ｇｒ）を読み出し、Ｃｙ＋Ｇ、Ｙｅ＋
Ｍｇ、Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇの加算処理をした後、映像
入力処理部３と同じ処理を行う。

【００２５】次に、高画質入力する際の映像入力方法に
ついて、図７を用いて説明する。図７（ａ）は、画面分
割による方法であり、駆動部２を駆動することでカメラ
部１の撮像領域を上下左右に矢印のように移動させて画
面を分割し、分割された画面ごとに映像を取込んでいく
方式である。図の例では、○印の画像領域が映像データ
として取込まれた状態を示している。この方法は、撮像
領域の制御においても現在の駆動モータの精度は高いの
で実現は容易である。しかし、画面合成においては、合
成画面間の境界が不連続であり、また取込む時間もずれ
ているので、そのまま合成すると不自然な画像になる。
そこで、時間的ずれによる環境の変化の影響を極力押さ
えるようにその間は一定の環境にするか、あるいは複数
画面の境界付近の映像信号の状態を記憶しておき、境界
付近がお互い同一のレベルになるように映像信号を調整
する、あるいは、複数画面の境界付近をダブらせて映像
入力しパターンマッチングさせる、あるいは、映像を取
り込む際の画面ゆがみを補正するなどの処理を施して合
成することにより、境界の不連続さを解決し、良好な静
止画像を得ることが可能となる。

【００２６】図７（ｂ）は、画素ずらしによる方式（Ｖ
ＡＰ方式）で、レンズ部１１において光軸ｂから光軸ａ
に光軸を微小にずらすことにより、カメラで撮像される
撮像領域が微小にズレるので、光軸を微小にずらしなが
らその都度、映像を取込むことで、カメラの撮像素子の
画素数が少なくても、あたかも撮像素子の画素数が増し
て解像度が向上したのと同等の効果が得られる。図の例
では、○印の画像を間引くようにして取込んだ場合を示
している。

【００２７】上記の光軸を微小に変化させるための機構
は、プリズムレンズ５００の頂角を可変にする機構であ
る。このプリズムレンズ５００は互いに平行に配された
ガラス板間５０１、５０２をシリコン系の液体５０３で
満たし、その周囲をシールしたものであり、レンズ制御
部１２のアクチュエータによって両ガラス板５０１、５
０２間の傾きを変化させ頂角を可変にするようになされ
ている。

【００２８】ここで、レンズを微小移動させるために、
駆動部２の制御には、かなりの精度が要求される。画面
合成においては、合成画面間の境界の不連続性が解消さ
れるので、合成後の不自然さはなくなる。特に、解像度
が変化しても連続性が失われないので、高画質の静止画
像を入力するには、最適な方法である。ただし、複数画
面の取り込みには時間的なずれが生じているため、時間
的ずれによる環境による影響を極力押さえるようにその
間は一定の環境にするか、あるいは複数画面の画面全体
の平均的な映像信号の状態を記憶しておき、画面全体の
平均レベルが互いに同一のレベルになるように映像信号
を調整することで時間的なずれ問題を解決し、良好な静
止画像を得ることが可能となる。

【００２９】図７（ｃ）は、画素ずらしによる他の方式
（ＰＰ方式）で、平行平板（ＰａｌｌａｒｅｌＰｌａ
ｔｅ）２０８を利用する方法である。平行平板２０８を
斜めに傾けることによって、光が物質を通過する際の屈
折率で生じる入射光の角度のずれを利用して光軸を微小
にずらしながら映像を取り込むことで、解像度や色再現
性を向上させることができる。

【００３０】図８は平行平板２０８による光軸のずれに
ついての説明である。平行平板は、光軸と垂直であれば
光軸のずれは発生しないが、図に示すように、光が平行
平板２０８の斜め方向から入射されると、物体固有の屈
折率により入射角に対して屈折が生じる。この屈折自体
は物質が均一で変化がなければ常に一定であるが、物体
の厚みが増すとずれ分が大きく変化する。更に、光が物
体を通過すると、逆の屈折が生じて物体に入射した時の
光軸と平行な光となる。

【００３１】従って、図で示した長さｄが光軸のずれと
なる。この長さｄは下記の式より求めることができる。ｎ＝ｓｉｎ／ｓｉｎθ （ｎ：屈折率）ｘ＝ｌ・（ｔａｎｉ−ｔａｎθ）ｄ＝ｃｏｓｉ・ｘより、ｄ＝ｃｏｓｉ・ｌ・（ｓｉｎｉ／ｃｏｓｉ−ｔａｎθ）＝ｌ・［ｓｉｎｉ−ｃｏｓｉ・ｔａｎ（ｓｉｎ^-1（ｓｉｎ／ｎ）］で求められる。この長さｄが、撮像素子の画素間の長さ
と同じであれば１画素ずらし、１／２であれば半画素ず
らしでの撮像が可能になる。

【００３２】図９はその画素ずらしによる撮像をイメー
ジした図てある。ここで、ａ₁₁は、ホームポジション
で、ｂ₁₁、ｃ₁₁、ｄ₁₁は、ａ₁₁のホームポジションから
平行平板の画素ずらしにより１画素ずらした場合であ
る。つまり撮像している対象物は同一で、ａ₁₁はＣｙ、
ｂ₁₁はＹｅ、ｃ₁₁はＭｇ、ｄ₁₁はＣｒの各フィルタイメ
ージで撮像している。

【００３３】半画素ずらしは、ホームポジションから垂
直方向はそのままで水平右方向の半画素ずらしした位置
を新たなホームポジションとして１画素ずらししたの
が、ａ ₁₂はホームポジションでｂ₁₂ｃ₁₂ｄ₁₂である。同
様に、ａ₂₁がホームポジションで、ｂ₂₁、ｃ₂₁、ｄ₂₁と
順次撮像し、ａ₂₂がホームポジションでｂ₂₂、ｃ₂₂、ｄ
₂₂と順次撮像することで高画質な静止画像を生成するこ
とが可能となる。

【００３４】次に、映像変化検知部３０について図１０
の内部ブロックにより説明する。３０ａは映像メモリ部
４からの出力画像データを一時的に記憶するメモリ、３
０ｂはカメラ部１からの入力画像データとメモリ３０ａ
に記憶されている出力画像データとの何れかを選択して
差分算出部３０ｃに転送する選択部、３０ｃは選択部３
０ａで選択された画像データと映像メモリ部４からの出
力画像データとの差分データを算出するための差分算出
部、３０ｄは図１１の参照フレームの参照ブロック
（Ｂ）と現フレームの対象ブロック（Ａ）との各画素の
差分値の平均を算出するための平均差分算出部、３０ｅ
は参照ブロック（Ｃ）と現フレームの対象ブロック
（Ａ）との各画素の差分値の平均を算出するための平均
差分算出部、３０ｆは参照ブロック（Ｃ）と現フレーム
の対象ブロック（Ａ）との各画素の差分値の平均二乗誤
差を算出するための平均二乗誤差算出部、３０ｇは対象
ブロック（Ａ）の分散値を算出する分散算出部、３０ｈ
は各算出部からの算出結果を入力し、映像に変化があっ
たか否かを判定する判定処理部である。

【００３５】次に、差分値や動きベクトルの算出方法の
概要について図１１により説明する。図１１（ａ）は差
分値の算出の際の対象となる各画像ブロックの位置関係
を現している。まず、現フレームは取込んだ最新の画面
の映像データであり、この画像データが変化の検出や動
きの検出をするのに対象となる画像データである。対象
ブロックは現フレーム内の画像ブロックで、画像処理を
施す画像単位である。通常は最小単位では、色情報であ
るＲＧＢ信号各１画素、ＹＵＶ信号各４画素、あるいは
Ｙ信号４画素ＵＶ信号各２画素を単位とする場合があ
る。さらには、上記の最小単位を複数でブロック単位と
する場合もある。

【００３６】参照フレームは予め取り込んでいた画面の
映像データで、現フレームとの差を算出することで、現
フレームがこの参照フレームに対してどの程度の相違が
あるか調べる時に使用する。参照ブロック（Ｂ）はその
参照フレーム内の対象ブロックと同一座標に位置する画
像ブロックであり、単位も同一である。従って、対象ブ
ロックと参照ブロックとで同一座標に位置する画素間の
差を取り、ブロック内の全ての画素間の差分値の平均値
を求めることにより差分値が算出される。

【００３７】次に、図１１（ｂ）は動きベクトルの算出
の際の対象となる各画像ブロックの位置関係を示してい
る。現フレームは（ａ）と同じである。また、参照フレ
ームには、動きベクトルを求めるための検索領域が設け
られている。物体がこの検索領域内での移動であれば、
その物体の移動の検出と移動ベクトルを求めることが可
能になる。つまり、検索領域内のすべての領域に対し
て、参照ブロックを処理単位として対象ブロックと参照
ブロックとの差分値を算出していく。例えば、参照ブロ
ックを４画素（２画素×２画素）単位とし、検索領域を
１６画素（４画素×４画素）とすると、対象ブロックと
参照ブロックの位置関係から９通りの組合わせがある。
その組合わせ全てにおいて差分値を算出する必要がある
ため、非常に多くの処理を必要とする。こうして算出さ
れた差分値を基に、差分値が最も小さい対象ブロックと
参照ブロックとの組合わせにおけるそのブロック間のベ
クトル量が移動物体の動いた移動ベクトル量に相当する
ので動きベクトルが算出される。

【００３８】次に上記の算出方法の概要を基に図１０に
おける各算出部３０ｄ〜３０ｇについての詳細を説明す
る。平均差分算出部３０ｄは、図１１の参照フレームの
参照ブロック（Ｂ）と現フレームの対象ブロック（Ａ）
との各画素の差分値の平均を算出する算出部である。そ
の算出式は以下に示す通りである。 Σ（Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ））／Ｍ ………（１）これにより、現フレームと参照フレームの同位置におけ
る差分値が得られるので、時間の経過における変化のト
ータルの度合を求めることが可能である。

【００３９】平均差分算出部３０ｅは、上記参照ブロッ
ク（Ｃ）と現フレームの対象ブロック（Ａ）との各画素
の差分値の平均を算出する算出部である。その算出式は
以下に示す通りである。 Σ（Ａ（ｘ，ｙ）−Ｃ（ｘ，ｙ））／Ｍ ………（２）これにより、参照フレームのある領域が現フレームの検
索領域内のどの領域に移動したかを算出できるので、時
間経過における対象物の移動量を求めることができる。

【００４０】平均二乗誤差算出部３０ｆは、参照ブロッ
ク（Ｃ）と現フレームの対象ブロック（Ａ）との各画素
の差分値の平均二乗誤差を算出する算出部である。その
算出式は以下に示す通りである。 Σ｛Ａ（ｘ，ｙ）−Ｃ（ｘ，ｙ）｝２／Ｍ ………（３）これにより、現フレームと参照フレームの同位置におけ
る差分の絶対値が得られるので、時間の経過における総
変化量を求めることが可能である。

【００４１】分散算出部３０ｇは、対象ブロック（Ａ）
の分散値を算出する算出部である。その算出式は以下に
示す通りである。 ΣＡ²（ｘ，ｙ）／Ｍ−（ΣＡ（ｘ，ｙ）／Ｍ）² ………（４）これにより、現フレームにおけるある領域のデータ平均
値に対するばらつきの度合が得られるので、その領域の
画像の性質を知ることができる。

【００４２】判定処理部３０ｈは、各算出部３０ｄ〜３
０ｇからの算出結果を入力し、映像に変化があったか否
かを判定するものである。例えば、（１）式と（３）式
により変化の度合がわかるので、その値がある値以上の
場合には変化があったと判定することが可能になる。ま
た、（２）式により、動きの有る無し、あるいは動き量
がわかるので、対象物体の動きを判定することができ
る。ここで、上記すべての処理のうちのいずれか一つで
も変化の検出は可能であることは明白である。従って、
変化の検出を複数の処理により多角的に判定することに
より、変化の検出だけでなく性質等を把握することによ
り、より正確でかつ本当に必要とする場合に変化ありと
判定して利便性を向上させることが可能になる。また、
前述した以外にも変化を検出する手法があり、時間的な
変化を検出する方法であれば、どんな手法でも本実施の
形態に適応できる。

【００４３】次に、上記構成による本発明の動作につい
て図１２〜１４のフローチャートにより説明する。ま
ず、ステップＳ１でカメラ部から動画像を入力する。こ
の入力した映像データを現映像データとする。次にステ
ップＳ２で現映像データを映像変化検知部３０に転送
し、次にステップＳ３で映像メモリ部４から前映像デー
タを読み出して映像変化検知部３０に転送し、さらにス
テップＳ４で映像メモリ部４に現映像データを記憶す
る。ここで、ステップＳ５で動画像と高画質静止画像と
を自動半別して切り替える自動切替えにするかどうかを
判断し、自動切替えの場合にはステップＳ６で図１１に
ついて前述したように映像変化検知処理を行う。この処
理が完了するとステップＳ７で変化があったか否かを判
断し、変化があった場合には、ステップＳ８で動画モー
ドを設定する。そしてステップＳ９〜Ｓ１６が行われ
る。即ち、出力する場合には、前映像データを出力部９
に転送して出力する。表示する場合には、前映像データ
をグラフィック合成部１３を介して映像出力部１５に転
送し表示部８に表示される。通信する場合には、前映像
データを通信部１０に転送し、通信相手端末に伝送す
る。蓄積する場合には、前映像データを蓄積部６に蓄積
する。そして終了しない場合はステップＳ２０からステ
ップＳ１に戻る。

【００４４】ステップＳ６による映像変化検知処理の結
果、ステップＳ７で変化がないと判断された場合には、
ステップＳ１７で動画モードか否かを判断し、動画モー
ドでない場合には、ステップＳ９の出力するか否かに移
る。動画モードの場合には、ステップＳ１８で変化無し
になってからの経過時間が所定の時間を経過したか否か
を判断し、経過していない場合には、ステップＳ９の出
力するか否かに移る。所定の時間を経過していれば、ス
テップＳ２１で高画質入力の解像度を設定しステップＳ
２２で画面分割数を設定する。そしてステップＳ２３〜
Ｓ２５により最初の撮像領域に駆動部２を制御して位置
を合わせ、画像を入力し映像メモリ部４に記憶する。こ
の映像メモリ部４に画像データを記憶する際には取込む
複数画面が重ならないようにメモリの範囲が指定されて
いる。こうして、最初の画像データが映像メモリ部４の
所定領域に記憶される。

【００４５】次にステップＳ２４〜Ｓ２７の動作を画面
の分散数分まで繰返し、最初に指定した画面分割数分を
ステップＳ２８で取込み完了すると、出力する場合に
は、ステップＳ２９、Ｓ３０でｍ個の画像データ（高画
質静止画像）を出力部９に転送して出力する。表示する
場合には、ステップＳ３１、Ｓ３２でｍ個の画像データ
をグラフィック合成部１３を介して映像出力部１５に転
送し表示部８に表示する。通信する場合には、ステップ
Ｓ３３、Ｓ３４でｍ個の画像データを通信部１０に転送
し、通信相手端末に伝送する。蓄積する場合には、ステ
ップＳ３５、Ｓ３６でｍ個の画像データを蓄積部６に蓄
積する。すべての動作を終了しない場合はステップＳ３
７からステップＳ１の映像入力に戻る。また、ステップ
Ｓ５で自動切り換えを行わない場合は、ステップＳ１９
で静止画入力か否かを判断し、静止画であればステップ
Ｓ２１へ、そうでなければステップＳ８が行われる。

【００４６】次に、高画質静止画像受信についての動作
を図１５により説明をする。まず、ステップＳ３８で相
手端末と回線が接続されたデータを受信した場合に、ス
テップＳ３９で静止画像か否かを判定し、静止画像でな
ければ、上記受信されたデータを動画像として処理す
る。まず、出力の場合には、ステップＳ４０、Ｓ４１で
受信した動画像を出力し、表示の場合には、ステップＳ
４２、Ｓ４３で受信した動画像を表示し、蓄積の場合に
は、ステップＳ４４、Ｓ４５で受信した動画像を蓄積す
る。次に、ステップＳ５２で動作を終了するか否かを判
定し、動作継続の場合には、ステップＳ３８でデータの
受信に入り、動作終了の場合には、すべてを終了する。

【００４７】ステップＳ３９で、上記静止画像か否かを
判定し静止画像であれば、上記受信されたデータを高画
質静止画像として処理する。まず、出力の場合には、ス
テップＳ４６、Ｓ４７で、受信したｍ個の画像データを
合成して１画面を生成し高画質静止画像として出力し、
表示の場合には、ステップＳ４８、Ｓ４９で受信したｍ
個の画像データを合成して１画面を生成し高画質静止画
像として表示し、蓄積の場合には、ステップＳ５０、Ｓ
５１で、受信したｍ個の画像データを合成して高画質静
止画像として蓄積する。次に、ステップＳ５２で動作を
終了するか否かを判定し、動作継続の場合には、ステッ
プＳ１でデータの受信に入り、動作終了の場合には、す
べてを終了する。

【００４８】ここで、画面表示する際には、動画像と静
止画像との自動切替えで、同一位置に動画像と静止画像
とをオーバーレイすることにより、あたかも動画像がフ
リーズして静止画像になった時に画質が飛躍的に向上し
たように見せることが可能である。また、動画像と高画
質静止画像とを別の画面位置や、あるいは一部重なりあ
った状態で表示して動画像と高画質静止画像とを同時表
示することにより、動画像で動きのあるものを見ながら
高画質静止画像で詳細を確認すること等が可能になる。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
動画像と高画質静止画像とを自動的に切替えて映像とし
て入力し蓄積、表示、出力、あるいは通信することが可
能である。従って、動画像と高画質静止画像とを切り替
えを手動操作で行う手間が省けるので利便性が向上する
という効果がある。また、自動的に変化を判定するの
で、モニタを目視しながら映像が静止しているか否かを
判定する必要がなく、高画質静止画像の取り込みを画像
乱れなく確実に行えるので、取り直しなどの無駄が省
け、かつ画像品質も向上する効果がある。また、通信に
おいては、動きが有るときは動画像でデータ量を減らし
て伝送し、動きが止まったときに大容量であるが高画質
な静止画像を伝送することにより、伝送効率を飛躍的に
向上させることができる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すブロック図で
ある。

【図２】本発明の第２の実施の形態を示すブロック図で
ある。

【図３】カメラ部の内部を示すブロック図である。

【図４】映像入力処理部の内部構成を示すブロック図で
ある。

【図５】光電変換素子上のフィルタ配列を示す構成図で
ある。

【図６】撮像素子からのデータ読みだしモードを示す構
成図である。

【図７】高画質の映像入力方法を示す構成図である。

【図８】平行平板による光軸のずれの説明図である。

【図９】画素ずらしによる撮像イメージを示す構成図で
ある。

【図１０】映像変化検知部を示すブロック図である。

【図１１】動きベクトルの算出方法を示す構成図であ
る。

【図１２】本発明の動作を示すフローチャートである。

【図１３】本発明の動作を示すフローチャートである。

【図１４】本発明の動作を示すフローチャートである。

【図１５】本発明の動作を示すフローチャートである。

【図１６】従来の映像入力装置を示すブロック図であ
る。

【図１７】従来の映像入力装置の動作を示すフローチャ
ートである。

【図１８】従来の映像入力装置の動作を示すフローチャ
ートである。

【符号の説明】

１カメラ部２駆動部３映像入力処理部４映像メモリ部５全体制御部６蓄積部１１レンズ部１２レンズ制御部１３グラフィック合成部１４グラフィックメモリ部１５映像出力処理部１６モニタ１７映像合成処理部１８映像合成メモリ部２０画素ずらしデータ合成処理部２１画素ずらしデータメモリ部２２静止画処理部３０映像変化検知部

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、上記画像入力手段から入力された画像の変化の有無を検
出する検出手段と、上記検出手段が画像の変化なしを検出したとき上記画像
入力手段から入力された画像から高解像度静止画像を作
成する高解像度静止画像作成手段とを備えた映像入力装
置。
【請求項２】上記検出手段は、入力された画像が所定
時間以上変化しないとき変化なしと見なすようにした請
求項１記載の映像入力装置。
【請求項３】上記検出手段は、入力された画像の変化
量が所定値以下のとき変化しないと見なすようにした請
求項１記載の映像入力装置。
【請求項４】上記画像入力手段は撮像手段を用いるも
のであり、上記高解像度静止画像作成手段は、上記撮像
手段の撮像領域を画素ずらし手段により順次画素ずらし
しながら撮像して得られる複数の画像を合成して１枚の
高解像度画像を作成するようにした請求項１記載の映像
入力装置。
【請求項５】上記画像入力手段は撮像手段を用いるも
のであり、上記高解像度静止画像作成手段は、画面を複
数に分割し各分割部分について上記撮像手段の撮像領域
を移動させながら順次撮像して得られる複数の画像を合
成して１枚の高解像度静止画像を作成するようにした請
求項１記載の映像入力装置。
【請求項６】上記検出手段の検出に応じて上記画像入
力手段から入力された画像又は上記高解像度静止画像を
選択して出力する選択手段を備えた請求項１記載の映像
入力装置。
【請求項７】上記画像入力手段は、外部通信手段から
送られて来る画像を受信するものである請求項１記載の
映像入力装置。
【請求項８】上記撮像領域の解像度を設定する設定手
段を設けた請求項５記載の映像入力装置。
【請求項９】上記設定手段に上記撮像領域を変倍する
変倍手段を用いた請求項８記載の映像入力装置。
【請求項１０】上記画素ずらし手段は、上記撮像手段
の光軸をずらすように成されている請求項４記載の映像
入力装置。
【請求項１１】上記画素ずらし手段にプリズムレンズ
を用いた請求項４記載の映像入力装置。
【請求項１２】上記画素ずらし手段に透明な平行平板
を用いた請求項４記載の映像入力装置。
【請求項１３】上記検出手段は画像の動きベクトルを
検出するように成されている請求項１記載の映像入力装
置。
【請求項１４】上記動きベクトルは、過去の画像にお
ける所定の参照領域を所定の探索領域内で移動させなが
ら上記参照領域内の各画素と現在の画像における対象領
域内の各画素とを比較することにより検出するようにし
た請求項１３記載の映像入力装置。
【請求項１５】上記撮像手段は補色フィルタを市松配
列した光電変換素子を用いたものである請求項４又は５
記載の映像入力装置。