JPH08102892A

JPH08102892A - 静止画像入力装置

Info

Publication number: JPH08102892A
Application number: JP6236805A
Authority: JP
Inventors: Hiroyoshi Toda; 浩義戸田; Tetsuya Taki; 哲也滝
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-09-30
Filing date: 1994-09-30
Publication date: 1996-04-16

Abstract

(57)【要約】【目的】安価な二次元イメージセンサを用いて、手持
ち撮影によって、短い画像撮り込み時間で、高精細なデ
ィジタル静止画像を入力できる【構成】Ａ/Ｄ変換部６からの一枚目の入力画像をメ
イン画像メモリ８上に記録する。動き検出部９は二枚目
以降の各入力画像の一枚目の入力画像に対する手振れに
よる動き量を１画素より小さい単位で求める。画像合成
部１０は、動き検出部９からの動き量に基づいてメイン
画像メモリ８上における二枚目以降の入力画像の書き込
みアドレスを求める。メイン画像メモリ８は画像合成部
１０からのアドレスに二枚目以降の入力画像を記録す
る。こうして、一枚目の入力画像の各画素間における動
き量に応じた位置に、二枚目以降の各入力画像の各画素
を内挿した合成画像を得る。したがって、画像処理のみ
によって、手持ち撮影によって高精細静止画像を入力で
きる安価な静止画像入力装置を提供できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、被写体の光学的な画
像情報を取り込んで電気的なディジタル画像情報に変換
する静止画像入力装置に関し、特に高精細なディジタル
静止画像を入力できる静止画像入力装置に関する。

【０００２】

【従来の技術】従来、高精細なディジタル静止画像を入
力する技術として、次のような技術がある。

【０００３】(ａ) 撮影領域の全体を一度に撮れるよう
な画素数の多い二次元イメージセンサを用いて、高精細
なディジタル静止画像を入力する。

【０００４】(ｂ) 撮影領域の一辺を一度に撮れる画素
数の多い一次元イメージセンサを用いて、この一次元メ
ージセンサを一方向に平行移動することによって撮影領
域全体を走査して高精細なディジタル静止画像を入力す
る。

【０００５】(ｃ) 撮影領域の一部を一度に撮れる画素
数の少ない二次元イメージセンサを用いて、この二次元
メージセンサを二方向に平行移動することによって撮影
領域全体を走査して低精細なディジタル静止画像を複数
枚入力する。そして、これらの低精細な複数枚のディジ
タル静止画像の周辺部をつなぎ合わせることによって、
撮影領域全体を上記二次元イメージセンサで一度に撮る
よりも高精細な一枚のディジタル静止画像を得る。(特
開平３−２４０３７２号公報)

【０００６】(ｄ) 撮影領域の全体を一度に撮れる画素
数の少ない二次元イメージセンサを用いて、この二次元
イメージセンサを一画素より細かい距離で微小移動させ
て低精細なディジタル静止画像を複数枚入力する。そし
て、この低精細な複数枚のディジタル静止画像の中の一
枚の画像における隣接画素間に、他の画像の画素を内挿
することによって、より高精細な一枚のディジタル静止
画像を得る。(特開昭５８−１９７９７０号公報,特開昭
５９−２２４８５号公報,特開昭６４−６００７２号公
報)

【０００７】(ｅ) 撮影領域を光学的に複数の領域に分
割して個々の領域に画素数の少ない二次元イメージセン
サを配置し、各二次元イメージセンサによって低精細な
ディジタル静止画像を複数枚入力する。そして、各低精
細なディジタル静止画像の周辺部をつなぎ合わせること
によって、撮影領域全体を上記二次元イメージセンサ１
台で撮るよりも高精細な一枚のディジタル静止画像を得
る。

【０００８】(ｆ) 撮影領域全体を光学的に分離して一
画素より細かい距離で位置がずれて配置された複数の撮
影領域を作成し、夫々の撮影領域に画素数の少ない二次
元イメージセンサを配置して低精細なディジタル静止画
像を複数枚入力する。そして、この低精細な複数枚のデ
ィジタル静止画像の中の一枚の画像における隣接画素間
に他の画像の画素を内挿することによって、上記隣接画
素間を補完した高精細な一枚のディジタル静止画像を得
る。

【０００９】

【発明が解決しようとする課題】しかしながら、上記の
従来の各高精細なディジタル静止画像を入力する技術の
夫々には、以下のような問題点がある。

【００１０】(Ａ) 静止画像入力技術(ａ)の場合には、
撮影領域の全体を一度に撮れるような画素数の多い二次
元イメージセンサを必要とする。このような画素数の多
い二次元イメージセンサは非常に高価であり、この静止
画像入力技術を実現する静止画像入力装置の製造コスト
は高いものとなる。また、そのような画素数の多い二次
元イメージセンサであって更に高精細なディジタル静止
画像を入力できるような二次元イメージセンサを得る場
合には更に画素数を多くする必要があり、そのような高
画素数の二次元イメージセンサな未だ存在しない。

【００１１】(Ｂ) 静止画像入力技術(ｂ)の場合には、
一次元イメージセンサによって撮影領域全体を一方向に
走査するための一次元イメージセンサ移動機構が必要で
あり、コストアップを招く。また、撮影領域全体の画像
撮り込み時間が長くなり、その撮り込み時間中は静止画
像入力装置を動かないように固定しておく必要がある。
したがって、本静止画像入力技術では手持ち撮影は不可
能なのである。

【００１２】(Ｃ) 静止画像入力技術(ｃ)の場合には、
二次元イメージセンサによって撮影領域全体を二方向に
走査するために、静止画像入力技術(ｂ)の場合よりも更
に複雑な二次元イメージセンサ移動機構が必要であり、
コストアップを招く。また、静止画像入力技術(ｂ)の場
合ほどではないが、画像撮り込み時間が長くなるので手
持ち撮影ができない。

【００１３】(Ｄ) 静止画像入力技術(ｄ)の場合には、
二次元イメージセンサを一画素より細かい距離で微小移
動させるための精密な移動機構が必要となり、コストア
ップを招く。また、静止画像入力技術(ｂ),(ｃ)と同様
に、撮影領域全体の画像撮り込み中は静止画像入力装置
を動かないよう固定する必要があり、手持ち撮影ができ
ない。

【００１４】(Ｅ) 静止画像入力技術(ｅ),(ｆ)の場合
には、撮影領域を光学的に分割あるいは分離するために
光学系が複雑になり、さらに複数の撮影領域の夫々に二
次元イメージセンサを配置する必要があるので、コスト
アップを招く。また、複数枚のディジタル静止画像の中
の一枚の画像における隣接画素間に他の画像の画素を内
挿するために、各二次元イメージセンサの配置と取り付
けに高い精度が要求される。

【００１５】そこで、この発明の目的は、撮影領域の全
体を一度に撮れる高価な二次元イメージセンサやイメー
ジセンサを走査するための移動機構や二次元イメージセ
ンサを一画素より細かい距離で微小移動させるための移
動機構や撮影領域を光学的に分割/分離するための光学
系を必要とはせず、撮影領域の全体を一度に撮れる画素
数の少ない安価な二次元イメージセンサを用いて、短い
画像撮り込み時間で、手持ち撮影によって、高精細なデ
ィジタル静止画像を入力できる静止画像入力装置を提供
することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に係る発明は、光学部によって取り込まれ
た被写体の光学的な画像情報を光電変換部およびＡ/Ｄ
変換部によって電気的なディジタル画像情報に変換し,
得られたディジタル静止画像を画像メモリに記録する静
止画像入力装置において、上記Ａ/Ｄ変換部からの同一
被写体における複数枚のディジタル静止画像のディジタ
ル画像情報に基づいて,２枚目以降の各ディジタル静止
画像の１枚目のディジタル静止画像に対する手振れによ
る動き量を,上記ディジタル静止画像の１画素よりも細
かい移動単位で検出する動き検出部と、上記画像メモリ
上における１枚目のディジタル静止画像の画素間であっ
て,且つ,上記動き検出部からの動き量に応じた位置の画
素に２枚目以降のディジタル静止画像の各画素を内挿す
ることによって,上記同一被写体の複数枚のディジタル
静止画像の合成画像を生成する画像合成部を備えたこと
を特徴としている。

【００１７】また、請求項２に係る発明は、請求項１に
係る発明の静止画像入力装置において、上記動き検出部
は、上記２枚目以降の各ディジタル静止画像における１
つの代表画素に係る動き量を検出し、上記画像合成部
は、上記動き検出部からの唯一つの動き量を当該２枚目
以降のディジタル静止画像の全画素に係る動き量である
として当該２枚目以降のディジタル静止画像における全
画素の内挿位置を求めることを特徴としている。

【００１８】また、請求項３に係る発明は、請求項１に
係る発明の静止画像入力装置において、上記動き検出部
は、上記動き検出部は、上記２枚目以降の各ディジタル
静止画像を複数領域に分割して夫々の領域における１つ
の代表画素に係る動き量を検出し、上記画像合成部は、
上記動き検出部からの各領域における唯一つの動き量を
当該２枚目以降のディジタル静止画像の対応領域内の全
画素に係る動き量であるとして当該２枚目以降のディジ
タル静止画像における全画素の内挿位置を各領域毎に求
めることを特徴としている。

【００１９】また、請求項４に係る発明は、請求項１に
係る発明の静止画像入力装置において、上記動き検出部
は、上記動き検出部は、上記２枚目以降のディジタル静
止画像における画素の動き量を予測する動き予測手段を
有して、上記２枚目以降のディジタル静止画像の夫々の
領域における１つの代表画素に係る動き量を検出し,さ
らに上記動き予測手段によって各領域内における他の画
素に係る動き量を予測して補完し、上記画像合成部は、
上記動き検出部からの個々の画素に係る動き量に基づい
て当該２枚目以降のディジタル静止画像の対応画素の内
挿位置を求めることを特徴としている。

【００２０】また、請求項５に係る発明は、請求項１乃
至請求項４の何れか一つに係る発明の静止画像入力装置
において、上記画像合成部は、上記画像メモリ上におけ
る当該内挿位置の画素に記録されているディジタル画像
情報を当該２枚目以降のディジタル静止画像のディジタ
ル画像情報に強制的に置き換えることを特徴としてい
る。

【００２１】また、請求項６に係る発明は、請求項１乃
至請求項４の何れか一つに係る発明の静止画像入力装置
において、上記画像合成部は、上記画像メモリ上の画素
の内容が既に他のディジタル画像情報で更新されている
ことを確認する画素更新確認手段を有して、この画素更
新確認手段によって上記画像メモリ上における当該内挿
位置の画素の内容が既に更新されていることを確認した
場合には,当該内挿位置の画素におけるディジタル画像
情報を当該２枚目以降のディジタル静止画像のディジタ
ル画像情報に置き換えないことを特徴としている。

【００２２】また、請求項７に係る発明は、請求項１乃
至請求項４の何れか一つに係る発明の静止画像入力装置
において、上記画像合成部は、画素更新判定用の信頼値
を格納する画素更新信頼値格納手段,上記画像メモリ上
の画素の内容が既に他のディジタル画像情報で更新され
ていることを確認する画素更新確認手段,および,上記画
像メモリ上の画素の内容を２枚目以降のディジタル静止
画像のディジタル画像情報で更新するか否かを判定する
更新判定手段を有して、上記動き検出部によって求めら
れた２枚目以降のディジタル静止画像における代表画素
に係る動き量を表す情報を取り込んで画素更新判定用の
信頼値として上記画素更新信頼値格納手段に格納し、上
記画素更新確認手段によって上記画像メモリ上における
当該内挿位置の画素の内容が既に更新されていることを
確認した場合には、上記更新判定手段によって上記画素
更新信頼値格納手段に格納された信頼値に基づいて当該
内挿位置の画素におけるディジタル画像情報を当該２枚
目以降のディジタル静止画像のディジタル画像情報で更
新するか否かを判定し、この判定結果に応じて当該内挿
位置の画素の内容を更新することを特徴としている。

【００２３】また、上記各発明の静止画像入力装置にお
いて、上記画像合成部は、上記画像メモリ上における更
新済み画素の情報を格納する更新画素格納手段,および,
上記合成画像の生成が終了したことを判定する画像合成
終了判定手段を有することによって、上記画像メモリ上
における２枚目以降のディジタル静止画像のディジタル
画像情報によって更新された画素の情報を上記更新画素
格納手段に格納し、上記画像合成終了判定手段によって
上記更新画素格納手段の格納内容を参照して上記画像メ
モリ上の全画素がディジタル画像情報に更新されると上
記合成画像生成が終了したと判定するようにできる。

【００２４】さらに、上記各発明の静止画像入力装置に
おいて、上記画像合成部は、取り込まれた入力画像の枚
数を格納する入力画像枚数格納手段,上記画像メモリに
書き込まれた１枚目のディジタル静止画像に基づいて未
書き込み画素のディジタル画像情報を補完する初期補完
処理手段,および,入力画像枚数が所定枚数に達したこと
を判定する入力画像枚数判定手段を有することによっ
て、上記画像メモリに１枚目のディジタル静止画像が書
き込まれると上記初期補完処理手段によって上記補完を
行い、入力画像を取り込む毎に取り込まれた入力画像の
枚数を上記入力画像枚数格納手段に格納し、上記入力画
像枚数判定手段によって上記入力画像枚数格納手段の内
容を参照して入力画像枚数が所定枚数に達したと判定さ
れると入力画像取り込みを中止するようにできる。

【００２５】さらに、上記各発明の静止画像入力装置に
おいて、上記画像合成部は、取り込まれた入力画像の枚
数を格納する入力画像枚数格納手段,入力画像枚数が所
定枚数に達したことを判定する入力画像枚数判定手段,
および,上記画像メモリ上における未書き込み画素のデ
ィジタル画像情報を補完する補完処理手段を有すること
によって、入力画像を取り込む毎に取り込まれた入力画
像の枚数を上記入力画像枚数格納手段に格納し、上記入
力画像枚数判定手段によって上記入力画像枚数格納手段
の内容を参照して入力画像枚数が所定枚数に達したと判
定されると入力画像取り込みを中止し、その時点で上記
画像メモリ上における未書き込み画素のディジタル画像
情報を上記補完処理手段によって補完するようにでき
る。

【００２６】さらに、上記各発明の静止画像入力装置に
おいて、上記画像合成部は、画像合成判定用の信頼値の
閾値を格納する閾値格納手段,および,上記画像合成判定
用の信頼値と上記閾値格納手段に格納された閾値とを比
較する信頼度比較手段を有することによって、上記動き
検出部によって求められた２枚目以降のディジタル静止
画像における代表画素に係る動き量を表す情報を画像合
成判定用の信頼値として取り込み、上記信頼度比較手段
によって当該内挿位置の画素に係る信頼値と上記閾値と
が比較されて、上記信頼値が上記閾値に達したと判定さ
れると入力画像取り込みを中止するようにできる。

【００２７】

【作用】請求項１に係る発明では、光学部,光電変換部
およびＡ/Ｄ変換部によって得られた同一被写体に係る
複数のディジタル静止画像のディジタル画像情報が順次
動き検出部に送出される。そうすると、上記動き検出部
によって、２枚目以降の各ディジタル静止画像の１枚目
のディジタル静止画像に対する手振れによる動き量が１
画素よりも細かい移動単位で検出される。そして、画像
合成部によって、画像メモリ上における１枚目のディジ
タル静止画像の画素間の上記動き量に応じた位置の画素
に、２枚目以降のディジタル静止画像の各画素が内挿さ
れて、上記同一被写体の複数のディジタル静止画像の合
成画像が生成される。こうして、手持ち撮影時における
手振れを利用して、同一被写体における１つのディジタ
ル静止画像に他のディジタル静止画像が内挿されて高精
細なディジタル静止画像が合成される。

【００２８】また、請求項２に係る発明では、動き検出
部によって２枚目以降の各ディジタル静止画像における
１つの代表画素に係る動き量が検出される。そうする
と、画像合成部によって、上記動き検出部からの唯一つ
の動き量が当該ディジタル静止画像の全画素に係る動き
量であるとして、当該２枚目以降のディジタル静止画像
における全画素の内挿位置が求められる。こうして、上
記動き検出部からの唯一つの動き量に基づいて、当該２
枚目以降のディジタル静止画像における全画素の内挿位
置が容易にそして迅速に求められる。

【００２９】また、請求項３に係る発明では、動き検出
部によって、２枚目以降の各ディジタル静止画像が複数
領域に分割されて、夫々の領域における１つの代表画素
に係る動き量が検出される。そうすると、画像合成部に
よって、上記動き検出部からの各領域における唯一つの
動き量が対応領域内の全画素に係る動き量であるとし
て、当該２枚目以降のディジタル静止画像における全画
素の内挿位置が各領域毎に求められる。こうして、上記
動き検出部からの各領域毎に唯一つの動き量に基づい
て、当該２枚目以降のディジタル静止画像における全画
素の内挿位置が迅速にそして精度よく求められる。

【００３０】また、請求項４に係る発明では、動き検出
部によって２枚目以降のディジタル静止画像が複数領域
に分割されて、夫々の領域における１つの代表画素に係
る動き量が検出される。そして更に、動き検出部の動き
予測手段によって、各領域内における他の画素に係る動
き量が補完によって求められる。そうすると、画像合成
部は、上記動き検出部からの個々の画素に係る動き量に
基づいて、当該２枚目以降のディジタル静止画像の対応
画素の内挿位置を独立して求める。こうして、上記動き
検出部からの個々の画素に係る動き量に基づいて、当該
２枚目以降の各ディジタル静止画像における全画素の内
挿位置が精度よく求められる。

【００３１】また、請求項５に係る発明では、画像合成
部によって、１枚目のディジタル静止画像の画素間に２
枚目以降のディジタル静止画像の各画素が内挿されて高
精細なディジタル静止画像が合成される。その際に、画
像メモリ上における当該内挿位置の画素に既に記録され
ているディジタル画像情報は、当該２枚目以降のディジ
タル静止画像のディジタル画像情報に強制的に置き換え
られる。こうして、高精細なディジタル静止画像の合成
が簡単な内挿処理で行われる。

【００３２】また、請求項６に係る発明では、画像合成
部による合成画像の生成に際して、画素更新確認手段に
よって、画像メモリ上における当該内挿位置の画素の内
容が既に他のディジタル画像情報で更新されていないか
が確認される。そして、更新されていることが確認され
た場合には、当該内挿位置の画素におけるディジタル画
像情報を当該２枚目以降のディジタル静止画像のディジ
タル画像情報に置き換えることがパスされる。こうし
て、高精細なディジタル静止画像を合成する際の内挿処
理が迅速に行われる。

【００３３】また、請求項７に係る発明では、動き検出
部によって求められた２枚目以降のディジタル静止画像
における代表画素に係る動き量を表す情報が画像合成部
に取り込まれて、画素更新判定用の信頼値として画素更
新信頼値格納手段に格納される。そして、画素更新確認
手段によって、画像メモリ上における当該内挿位置の画
素の内容が既に他のディジタル画像情報で更新されたこ
とが確認されると、更新判定手段によって、上記画素更
新信頼値格納手段に格納された信頼値に基づいて、当該
内挿位置の画素におけるディジタル画像情報を更新する
か否かが判定される。そして、この判定結果に応じて当
該内挿位置の画素の内容が更新される。こうして、高精
細なディジタル静止画像を合成する際の内挿処理が精度
よく行われる。

【００３４】また、上記各発明の静止画像入力装置にお
ける画像合成部が更新画素格納手段および画像合成終了
判定手段を有する際には、画像メモリ上における更新済
み画素の情報が上記更新画素格納手段に格納される。そ
して、上記画像合成終了判定手段によって、上記更新画
素格納手段の内容が参照されて、上記画像メモリ上の全
画素がディジタル画像情報で更新されると合成画像の生
成が終了したと判定される。こうして、高精細なディジ
タル静止画像の合成が自動的に終了される。

【００３５】さらに、上記各発明の静止画像入力装置に
おける画像合成部が、入力画像枚数格納手段,初期補完
処理手段および入力画像枚数判定手段を有する際には、
画像メモリに１枚目のディジタル静止画像が書き込まれ
ると、上記初期補完処理手段によって、上記画像メモリ
上における未書き込み画素に係るディジタル画像情報が
補完される。そして、上記入力画像枚数格納手段に入力
画像が一枚取り込まれたことが格納される。以後、２枚
目以降の入力画像が取り込まれて上記補完処理が実行さ
れる毎に上記入力画像枚数格納手段の内容が更新され
る。この状態において、上記入力画像枚数判定手段によ
って、上記入力画像枚数格納手段の内容が所定枚数に達
したと判定されると、上記画像合成部によって、入力画
像取り込みが中止される。こうして、高精細なディジタ
ル静止画像の合成が所定時間内で短時間に行われる。

【００３６】さらに、上記各発明の静止画像入力装置に
おける画像合成部が入力画像枚数格納手段,入力画像枚
数判定手段および補完処理手段を有する際には、入力画
像の枚数が上記入力画像枚数格納手段に格納される。そ
して、上記入力画像枚数判定手段によって、上記入力画
像枚数格納手段の内容が参照されて入力画像枚数が所定
枚数に達したと判定されると、画像合成部によって、入
力画像取り込みが中止される。そして更に、上記補完処
理手段によって、その時点で上記画像メモリ上における
未書き込み画素に係るディジタル画像情報が補完されて
上記合成画像が完成される。こうして、高精細なディジ
タル静止画像の合成が所定時間内で短時間に行われる。

【００３７】さらに、上記各発明の静止画像入力装置に
おける画像合成部が閾値格納手段及び信頼度比較手段を
有する際には、動き検出部で求められた２枚目以降のデ
ィジタル静止画像における代表画素に係る動き量を表す
情報が、画像合成判定用の信頼値として画像合成部に取
り込まれる。そして、上記信頼度比較手段によって、当
該内挿位置の画素に係る信頼値が上記閾値格納手段に格
納されている閾値に達したと判定されると、上記画像合
成部によって入力画像取り込みが中止される。こうし
て、上記２枚目以降のディジタル静止画像の１枚目のデ
ィジタル静止画像に対する動き量が大きくなり過ぎる
と、自動的に高精細なディジタル静止画像の合成が終了
される。

【００３８】

【実施例】以下、この発明を図示の実施例により詳細に
説明する。＜第１実施例＞図１は、本実施例の静止画像入力装置に
おけるブロック図である。本実施例における静止画像入
力装置は、筺体１の中に、光学部２,ＣＣＤ(電荷結合素
子)３,ＣＣＤ駆動部４,信号処理部５,Ａ/Ｄ変換部６,タ
イミング制御部７,メイン画像メモリ８,動き検出部９,
画像合成部１０,ファインダ１１および外部Ｉ/Ｆ(イン
ターフェース)１２を収納した概略構成を有している。

【００３９】換言すれば、本静止画像入力装置は、上述
した従来の静止画像入力技術に用いられる静止画像入力
装置に、この発明の特徴となる動き検出部９と画像合成
部１０を付加したものである。

【００４０】次に、図１における信号の流れに沿って、
本実施例の静止画像入力装置の各部の動作を説明する。
上記光学部２は、複数枚のレンズを組み合わせた組み合
わせレンズやアイリス等からなり、被写体からの光を上
記光電変換部としてのＣＣＤ３の受光面上に光学的に結
像させる。上記ＣＣＤ３はＣＣＤ駆動部４によって駆動
されて、光学部２によって上記受光面上に光学的に結像
された被写体の光量をＣＣＤ３の受光面上に二次元に並
べられたセル単位で電荷に変換する。上記ＣＣＤ駆動部
４は、タイミング制御部７によって制御されて、ＣＣＤ
３によって上記セル単位で変換された電荷を水平方向及
び垂直方向に順次走査しながら読み出して、電気的なア
ナログ静止画像信号として信号処理部５へ送出する。

【００４１】本実施例においては、二次元イメージセン
サとしてＣＣＤ３を用いているが、ＣＭＯＳ(相補型金
属酸化膜半導体)エリアセンサやそれ以外の固体撮像素
子に置き換えることも可能である。その場合には、ＣＣ
Ｄ駆動部４を、使用する固体撮像素子の駆動回路によっ
て置き換える。

【００４２】上記信号処理部５は、ＣＣＤ３から送出さ
れてくるアナログ静止画像信号に対して、ガンマ補正,
クランプおよびオートゲインコントロール等の信号処理
を行って、Ａ/Ｄ変換部６へ送出する。上記Ａ/Ｄ変換部
６は、タイミング制御部７によって制御されて、信号処
理部５から送出されてくるアナログ静止画像信号に対し
て、ＣＣＤ３の１セルが１画素に対応するようにＡ/Ｄ
変換を行ってディジタル静止画像信号を生成する。そし
て、一枚目の入力画像に係るディジタル静止画像信号の
場合には、メイン画像メモリ８と動き検出部９の両方へ
送出する一方、二枚目以降の入力画像に係るディジタル
静止画像信号の場合には、動き検出部９のみへ送出す
る。

【００４３】上記メイン画像メモリ８は、タイミング制
御部７によって制御されて、Ａ/Ｄ変換部６より出力さ
れた一枚目の入力画像に係るディジタル静止画像信号を
記録する。その際に、各画素のディジタル静止画像信号
は、メイン画像メモリ８における縦方向に(Ｎy−１)画
素おきの位置に、横方向に(Ｎx−１)画素おきの位置に
記録される。尚、上記“Ｎy"は、最終的にメイン画像メ
モリ８上に合成される高精細静止画像の縦方向における
画素数のＡ/Ｄ変換部６から出力された入力画像の縦方
向の画素数に対する倍数である。また、“Ｎx"は、メイ
ン画像メモリ８上に合成される高精細静止画像における
横方向の画素数のＡ/Ｄ変換部６から出力された入力画
像の横方向の画素数に対する倍数である。

【００４４】さらに、上記メイン画像メモリ８は、画像
合成部１０から送出されてくる二枚目以降の入力画像に
係るディジタル静止画像信号を、画像合成部１０からの
書き込みアドレスに従って画素単位で記録する。

【００４５】上記動き検出部９は、タイミング制御部７
によって制御されて、後に詳述するようにして、一枚目
の入力画像のディジタル静止画像信号と二枚目の入力画
像のディジタル静止画像信号とに基づいて、両入力画像
の間に生じる手振れによる動き量を検出する。その際に
おける動き量の検出は、Ａ/Ｄ変換部６から出力される
ディジタル静止画像信号における縦方向に１/Ｎy画素単
位で横方向に１/Ｎx画素単位(すなわち、メイン画像メ
モリ８上に最終的に合成される高精細静止画像における
一画素単位)で行う。上記動き量の検出の方法として
は、相関法(ブロックマッチング)や勾配法(オプティカ
ルフロー)等の画像処理を利用する方法や、ジャイロを
使用して直接検出する方法等がある。

【００４６】上記画像合成部１０は、後に詳述するよう
にして、動き検出部９によって検出された一枚目の入力
画像と二枚目の入力画像との間の手振れによる動き量に
基づいて、メイン画像メモリ８上における二枚目の入力
画像の各画素のディジタル静止画像記号を記録するアド
レスを求める。そして、二枚目の入力画像がディジタル
静止画像信号と共に、メイン画像メモリ８に送出する。
以後、三枚目以降の入力画像のディジタル静止画像信号
ついても、二枚目の入力画像のディジタル静止画像信号
の場合と同様の処理を行う。そうすると、最終的にメイ
ン画像メモリ８には、ＣＣＤ３によって取り込まれた入
力画像の画素数に対して縦方向がＮy倍で横方向がＮx倍
の画素密度を有する高精細静止画像が合成されるのであ
る。

【００４７】上記ＣＣＤ３によって連続して取り込まれ
る各入力画像の間の時間間隔は、ＣＣＤ３として汎用の
テレビ方式におけるＣＣＤを使用した際には、各フィー
ルド画像の時間間隔がＮＴＳＣ方式(日米方式)の場合で
は１/６０秒となる一方、ＰＡＬ方式(欧州方式)の場合
では１/５０秒となる。そこで、動き検出部９と画像合
成部１０とによる処理は、上記各フィールド画像の時間
間隔内に、若しくは、ＣＣＤ３で取り込まれた入力画像
を一枚おきや二枚おきに間引いて使用する場合には、そ
の間引かれた残りのフィールド画像の時間間隔内に行わ
れる。

【００４８】上記ファインダ１１は、その時点でメイン
画像メモリ８に記録されている高精細静止画像のディジ
タル静止画像信号を、表示デバイスの画素数に応じた適
当な間引きやクリッピングを行って上記表示デバイスに
表示する。上記外部Ｉ/Ｆ１２は、メイン画像メモリ８
上に最終的に合成された高精細静止画像のディジタル静
止画像信号を外部へ出力する。

【００４９】図２は、上記動き検出部９による動き検出
の方法として上記相関法(ブロックマッチング)を用いた
場合の動き検出部９と画像合成部１０の詳細なブロック
図である。この動き検出部９は、次のように動作して、
Ａ/Ｄ変換部６から送出されてくる一枚目の入力画像と
二枚目以降の各入力画像との間の手振れによる動き量を
検出する。

【００５０】先ず、上記Ａ/Ｄ変換部６から送出されて
くる一枚目の入力画像のディジタル静止画像信号がメイ
ン画像メモリ８に記憶される。それと同時に、その一部
の画素に係るディジタル静止画像信号が、後に実行され
る動き検出の際に使用する代表画素のディジタル静止画
像信号として、アドレス生成手段１５によって生成され
た代表点メモリ１６上のアドレスに記録される。

【００５１】さらに、上記Ａ/Ｄ変換部６から送出され
てくる二枚目以降の何れかの入力画像のディジタル静止
画像信号が、動き検出部９内を通って画像合成部１０の
テンポラリ画像メモリ２０に記録される。それと同時
に、動き検出部９の残差演算手段１７に入力される。残
差演算手段１７は、入力された当該二枚目以降の入力画
像のディジタル静止画像信号と代表点メモリ１６に記録
されている一枚目の入力画像における代表画素のディジ
タル静止画像信号とに基づいて、両入力画像間の残差を
演算して残差メモリ１８に記録する。

【００５２】そうすると、動き検出手段１９は、残差メ
モリ１８に記録された最小残差のアドレスとその周囲の
アドレスから、入力画像における１画素の縦方向に１/
Ｎy画素,横方向に１/Ｎx画素単位で最小残差の詳細なア
ドレスを算出し、この算出されたアドレスのオフセット
を求める。そして、Ａ/Ｄ変換部６から送出された一枚
目の入力画像と当該二枚目以降の入力画像との間の手振
れによる動き量の１/Ｎy,１/Ｎx画素単位での検出結果
として、上記検出したオフセット量を画像合成部１０の
アドレス生成手段２１に送出する。尚、上記残差とは、
上記二枚目以降の何れかの入力画像を縦横夫々一画素単
位でずらしながら一枚目の入力画像における代表画素の
ディジタル静止画像信号と当該二枚目以降の入力画像に
おける対応画素のディジタル静止画像信号とから求める
両画素の一致度を表す評価値である。この評価値が小さ
い程、その対応画素がより一致していることを表す。同
様な評価値であってより精度が高い評価値として、両デ
ィジタル静止画像信号の差の二乗和や相互相関係数等が
ある。各評価値の違いは以下のように計算方法だけであ
り、同様に使用できる。

【００５３】すなわち、上記一枚目の入力画像の各代表
画素のディジタル静止画像信号をｆとし、二枚目以降の
何れかの入力画像の対応する各画素のディジタル静止画
像信号をｇとし、両ディジタル静止画像信号ｆ,ｇ夫々
の平均値をＥf,Ｅgとする。そうすると、上記残差は式
(１)で求められる。また、差の二乗和は式(２)で求めら
れる。また、相互相関係数は式(３)で求められる。 Σ|ｆ−ｇ| …(１) Σ(ｆ−ｇ)² …(２) 〔Σ{(ｆ−Ｅf)×(ｇ−Ｅg)}〕/〔Σ(ｆ−Ｅf)²×Σ(ｇ−Ｅg)²〕^1/2 …(３) ここで、上記残差や差の二乗和を用いた場合には、計算
結果が最小値を呈する場合に対応している両画素のディ
ジタル静止画像信号が最も一致していることを表す。ま
た、相互相関係数を用いた場合には、計算結果が最大値
を呈する場合に対応している両画素のディジタル静止画
像信号が最も一致していることを表す。

【００５４】こうして、一枚目の入力画像と当該二枚目
以降の入力画像との間の手振れによる動き量が画像合成
部１０のアドレス生成手段２１に送出されると、アドレ
ス生成手段２１は、動き検出部９からの上記手振れによ
る動き量に基づいて、当該二枚目以降の入力画像の各画
素をメイン画像メモリ８に書き込む際の書き込みアドレ
スを計算して、メイン画像メモリ８に送出する。さら
に、メイン画像メモリ８への書き込みアドレスに対応し
たテンポラリ画像メモリ２０に対する読み出しアドレス
を、テンポラリ画像メモリ２０に送出する。そして、テ
ンポラリ画像メモリ２０に記録されている当該二枚目以
降の入力画像の各画素のディジタル静止画像信号が上記
書き込みアドレスに同期してメイン画像メモリ８に送出
される。そうすると、上記メイン画像メモリ８によっ
て、当該二枚目以降の入力画像の各画素のディジタル静
止画像信号がアドレス生成手段２１からの書き込みアド
レスの位置に書き込まれる。

【００５５】図３は、上記動き検出部９による動き検出
の方法として上記勾配法(オプティカルフロー)を用いた
場合の動き検出部９と画像合成部１０との詳細なブロッ
ク図である。尚、画像合成部１０は、図２における構成
と同じ構成を有している。この動き検出部９は、次のよ
うに動作して、Ａ/Ｄ変換部６から送出されてくる一枚
目の入力画像と二枚目以降の各入力画像との間の手振れ
による動き量を検出する。

【００５６】先ず、上記Ａ/Ｄ変換部６から送出されて
くる一枚目の入力画像のディジタル静止画像信号がメイ
ン画像メモリ８に記録される。それと同時に、その一部
の画素のディジタル静止画像信号が選出されて、後に実
行される動き検出の際に使用する代表画素のディジタル
静止画像信号として第１代表点メモリ２５に記録され
る。次に、上記Ａ/Ｄ変換部６から送出されてくる二枚
目以降の何れかの入力画像のディジタル静止画像信号
が、動き検出部９内を通って画像合成部１０のテンポラ
リ画像メモリ２０に記録される。それと同時に、一枚目
の入力画像で選出された代表画素と同じ位置の画素のデ
ィジタル静止画像信号が代表画素のディジタル静止画像
信号として第２代表点メモリ２６に記録される。

【００５７】そうすると、オプティカルフロー演算手段
２７は、上記第１代表点メモリ２５と第２代表点メモリ
２６とに記録されている一枚目の入力画像と当該二枚目
以降の入力画像との対応する各代表画素のディジタル静
止画像信号に基づいて、夫々の代表画素の位置でのオプ
ティカルフローを演算してオプティカルフローメモリ２
８に記録する。そして、動き決定手段２９は、オプティ
カルフローメモリ２７に記録されている演算結果から一
枚目の入力画像と当該二枚目以降の入力画像との間の手
振れによる動き量を決定し、画像合成部１０のアドレス
生成手段２１に送出する。

【００５８】ここで、上記オプティカルフローとは、一
枚目の入力画像の各代表画素が二枚目以降の何れかの入
力画像におけるどの位置に移動したのかを表す動きベク
トルのことであり、このベクトル値がそのまま手振れに
よる動き量に相当する。上記オプティカルフローは、式
(４)を最小にするｕとｖを計算することによって求めら
れる(岩波書店「認識と学習」安西祐一郎 p.120〜p.12
3)。Ｅ(ｘ,ｙ,ｔ)＝(ｆ_xｕ＋ｆ_yｖ＋ｆ_t)²＋λ(ｕ_x ²＋ｕ_y ²＋ｖ_x ²＋ｖ_y ²) …(４) 但し、ｆ_x＝∂f/∂x、ｆ_y＝∂f/∂y、ｆ_t＝∂f/∂t ｕ＝ｄx/ｄt、ｖ＝ｄy/ｄt ｕ_x＝∂u/∂x、ｕ_y＝∂u/∂y ｖ_x＝∂v/∂x、ｖ_y＝∂v/∂y ｘ,ｙ：時刻ｔにおける座標

【００５９】こうして、一枚目の入力画像と当該二枚目
何れかの入力画像との間の手振れによる動き量が画像合
成部１０のアドレス生成手段２１に送出されると、アド
レス生成手段２１は、動き検出部９からの上記手振れに
よる動き量に基づいて、当該二枚目以降の入力画像の各
画素をメイン画像メモリ８に書き込む際の書き込みアド
レスを計算する。そして、テンポラリ画像メモリ２０へ
の読み出しアドレスと同期してメイン画像メモリ８に送
出する。

【００６０】図４は、上記動き検出部９による動き検出
の方法として上記ジャイロを用いた場合の動き検出部９
と画像合成部１０の詳細なブロック図である。尚、画像
合成部１０は、図２における構成と同じ構成を有してい
る。この動き検出部９は、次のように動作して、Ａ/Ｄ
変換部６から送出されてくる一枚目の入力画像と二枚目
以降の各入力画像との間の手振れによる動き量を検出す
る。

【００６１】先ず、上記Ａ/Ｄ変換部６から送出されて
くる一枚目の入力画像のディジタル静止画像信号がメイ
ン画像メモリ８に記録される。次に、上記Ａ/Ｄ変換部
６から送出されてくる二枚目以降の何れかの入力画像の
ディジタル静止画像信号が、動き検出部９内を通って画
像合成部１０のテンポラリ画像メモリ２０に記録され
る。

【００６２】上記動き検出部９における水平ジャイロ３
１と垂直ジャイロ３２とは、当該二枚目以降の入力画像
のディジタル静止画像信号のテンポラリ画像メモリ２０
への記録と同時に、一枚目の入力画像のメイン画像メモ
リ８への記録時から当該二枚目以降の入力画像のテンポ
ラリ画像メモリ２０への記録時までの間における水平方
向の角速度と垂直方向の角速度を検出する。そして、夫
々の角速度を積分して水平/垂直方向の手振れによる動
き量として求めて、画像合成部１０のアドレス生成部２
１に送出する。

【００６３】以下、上述の場合と同様にして、上記アド
レス生成手段２１は、動き検出手段９からの上記手振れ
による動き量に基づいて、当該二枚目以降の入力画像の
各画素をメイン画像メモリ８に書き込む際の書き込みア
ドレスを計算する。そして、テンポラリ画像メモリ２０
への読み出しアドレスと同期してメイン画像メモリ８に
送出するのである。

【００６４】上述したように、上記メイン画像メモリ８
は、Ａ/Ｄ変換部６からの一枚目の入力画像と画像合成
部１０からの二枚目以降の各入力画像とを合成して高精
細なディジタル静止画像を生成する。図５は、メイン画
像メモリ８上に高精細静止画像を生成する方法の説明図
である。以下、図５に従って、上記メイン画像メモリ
８,動き検出部９および画像合成部１０の動作に基づく
高精細静止画像生成方法について説明する。今、上記Ａ
/Ｄ変換部６から送出される一枚目の入力画像を入力画
像Ａとし、二枚目以降の入力画像を夫々入力画像Ｂ,入
力画像Ｃ…とする。そして、これらの入力画像Ａ,Ｂ,
Ｃ,…から，縦横夫々２倍(すなわち、Ｎy＝Ｎx＝２)の
画素数の高精細静止画像を合成するものとする。

【００６５】先ず、上記入力画像Ａの各画素のディジタ
ル静止画像信号を、メイン画像メモリ８上における縦横
夫々１画素((Ｎy−１)＝(Ｎx−１)＝１)おきの位置(す
なわち、合成画像３５における画素Ａの位置)に記録す
る。同時に、入力画像Ａは動き検出部９にも送出され
る。そして、上述したように、動き検出部９によって、
後に送出されてくる入力画像Ｂとの間の手振れによる動
き量が、入力画像Ａおよび入力画像Ｂにおける縦横夫々
１/２(１/Ｎy＝１/Ｎx＝１/２)画素単位で検出される。
ここで、入力画像Ａに対する入力画像Ｂの動き量は、横
１/２画素、縦１画素であるとする。

【００６６】そうすると、上記画像合成部１０は、動き
検出部９によって検出された動き量(横１/２画素、縦１
画素)に基づいて、入力画像Ｂが書き込まれるメイン画
像メモリ８上の書き込みアドレスを、例えば、横方向 → メイン画像メモリ８上における画像Ａの対
応画素のアドレス＋(横方向の動き量(画素)×Ｎx)画素
分のアドレス縦方向 → メイン画像メモリ８上における画像Ａの対
応画素のアドレス＋(縦方向の動き量(画素)×Ｎy)画素
分のアドレスによって求める。そして、メイン画像メモリ８上におけ
る上記求められたアドレスの位置(すなわち、合成画像
３５における画素Ｂの位置)に、入力画像Ｂの画素のデ
ィジタル静止画像信号を記録するのである。

【００６７】上述の処理を三枚目の入力画像Ｃおよび四
枚目以降の入力画像についても繰り返すことによって、
メイン画像メモリ８上に画素数が入力画像Ａ,Ｂ,Ｃ,…
の画素数の２倍である高精細静止画像が合成されるので
ある。

【００６８】上述のように、本実施例においては、目的
とする高精細静止画像の縦横画素数の入力画像の縦横画
素数に対する倍数を夫々Ｎy,Ｎxとした際に、一枚目の
入力画像の各画素のディジタル静止画像信号をメイン画
像メモリ８上における縦方向に(Ｎy−１)画素おきに横
方向に(Ｎx−１)画素おきに記録する。一方、二枚目以
降の各入力画像の各画素のディジタル静止画像信号は、
動き検出部９で縦方向に１/Ｎy画素単位で横方向に１/
Ｎx画素単位で検出された手振れによる動き量に基づい
て画像合成部１０によって求められたメイン画像メモリ
８上におけるアドレスに記録する。したがって、こうし
て上記メイン画像メモリ８上に合成された画像は、一枚
目の入力画像の各画素間であって、且つ二枚目以降の各
入力画像の各画素を一枚目の入力画像に対する動き量に
応じた位置に内挿した画像となる。

【００６９】すなわち、本実施例によれば、セル数の少
ない安価なＣＣＤ３を用いて、光学部２で得られた画像
を走査するためのＣＣＤ３の移動装置や上記画像を分割
/分離するための複雑な光学系を用いることなく、画像
処理のみによって、一枚の入力画像における隣接画素間
に他の入力画像の画素を内挿することができる。したが
って、高精細静止画像を入力できる安価な静止画像入力
装置を提供できる。

【００７０】また、本実施例においては、複数の入力画
像間の手振れによる動き量を利用して高精細静止画像を
生成する。したがって、本実施例によれば、短時間に静
止画像を得ることができ、手持ち撮影を可能にする。

【００７１】＜第２実施例＞本実施例は、上述の第１実
施例において、一枚目の入力画像と二枚目以降の各入力
画像の間の手振れによる動き量を、入力画像における総
ての位置において同一の動き量であるとして検出する例
である。

【００７２】尚、本実施例における静止画像入力装置の
概略構成は、図１に示すブロック図と同じである。図６
は、上記相関法(ブロックマッチング)を用いて手振れに
よる動きを検出する場合における動き検出部９および画
像合成部１０の構成を示す。本実施例における動き検出
部９は、アドレス生成手段３６,代表点メモリ３７,残差
演算手段３８,残差メモリ３９および動き検出手段４０
を有している。また、画像合成部１０は、テンポラリ画
像メモリ４１およびアドレス生成手段４２を有してい
る。

【００７３】上記代表点メモリ３７には、一枚目の入力
画像全体から均一に選択された代表画素のディジタル静
止画像信号が記録される。そして、残差演算手段３８
は、上述のように式(１)に従って二枚目以降の各入力画
像のディジタル静止画像信号との残差を演算し、得られ
た残差を残差メモリ３９上における代表点メモリ３７上
のアドレスに対応するアドレスに記録する。そうする
と、上記動き検出手段４０は、残差メモリ３９に各代表
画素毎に記録されている複数の残差のうち最小値を呈す
る唯一つの残差に係るアドレスから上述のようにして算
出されたオフセット量を、当該入力画像における総ての
位置での動き量の代表値として画像合成部１０のアドレ
ス生成部２１に送出するのである。

【００７４】上記画像合成部１０のアドレス生成手段４
２は、動き検出手段４０からの唯一つの動き量に基づい
て当該二枚目以降のディジタル静止画像信号を書き込む
べきメイン画像メモリ８上の書き込みアドレスを算出す
る。そして、テンポラリ画像メモリ４１への読み出しア
ドレスと同期してメイン画像メモリ８に送出する。

【００７５】換言すれば、本実施例における動き検出部
９は、アドレス生成手段,代表点メモリ,残差演算手段,
残差メモリおよび動き検出手段からなる組を一組有し
て、入力画像における一つの代表画素に係る動き量で入
力画像総ての画素における動き量を代表するのである。

【００７６】尚、上記残差演算手段３８は、上記残差の
代わりに、式(２)によって算出される差の二乗和や式
(３)によって算出される相互相関係数を用いてもよい。
但し、上記相互相関係数を用いた場合には、動き検出手
段４０は、残差メモリ３９に記録されている複数の相互
相関係数のうちの最大値を呈する唯一つの相互相関係数
のアドレスからオフセット量を算出する。

【００７７】図７は、上記勾配法(オプティカルフロー)
を用いて手振れによる動きを検出する場合における動き
検出部９および画像合成部１０の構成を示す。本実施例
における動き検出部９は、第１代表点メモリ４５,第２
代表点メモリ４６,オプティカルフロー演算手段４７,オ
プティカルフローメモリ４８および動き決定手段４９を
有している。また、画像合成部１０は、テンポラリ画像
メモリ４１およびアドレス生成手段４２を有している。

【００７８】上記第１代表点メモリ４５には、上述した
ように、一枚目の入力画像全体から均一に選択された代
表画素のディジタル静止画像信号が記録される。また、
第２代表点メモリ４６には、二枚目以降のある入力画像
全体から均一に選択された代表画素のディジタル静止画
像信号が記録される。そして、オプティカルフロー演算
手段４７は、式(４)に従ってオプティカルフローを演算
してオプティカルフローメモリ４８に代表点毎に記録す
る。

【００７９】そうすると、上記動き決定手段４９は、オ
プティカルフローメモリ４８に各代表画素毎に記録され
ている複数の演算結果に基づいて動き量を算出し、得ら
れた動き量を当該入力画像における総ての位置での動き
量として画像合成部１０のアドレス生成部４２に送出す
るのである。

【００８０】図８は、上記ジャイロを用いて手振れによ
る動きを検出する場合における動き検出部９および画像
合成部１０の構成を示す。本実施例における動き検出部
９は水平ジャイロ５１および垂直ジャイロ５２を有して
いる。また、画像合成部１０は、テンポラリ画像メモリ
４１およびアドレス生成手段４２を有している。上記水
平ジャイロ５１および垂直ジャイロ５２は、上述したよ
うに、一枚目の入力画像がメイン画像メモリ８に記録さ
れてから二枚目以降のある入力画像が画像合成部１０の
テンポラリ画像メモリ４１に記録されるまでの間におけ
る水平方向の角速度と垂直方向の角速度を検出する。そ
して、夫々の角速度を積分して当該入力画像における総
ての位置での水平/垂直方向の動き量として画像合成部
１０のアドレス生成部４２に送出するのである。

【００８１】このように、本実施例における動き検出手
段４０(図６),動き決定手段４９(図７)あるいは水平/垂
直ジャイロ５１・５２(図８)は、一枚目の入力画像と二
枚目以降の各入力画像との間の手振れによる動き量を、
入力画像における総ての位置において同一の動き量であ
るとして求めるようにしている。したがって、本実施例
によれば、上記動き量の決定を迅速に行って、高精細静
止画像を高速に入力することができる。

【００８２】＜第３実施例＞本実施例は、上述の第１実
施例において、一枚目の入力画像と二枚目以降の各入力
画像との間の手振れによる動き量を入力画像の複数の位
置において独立して検出する例である。上述した第２実
施例においては、上記一枚目の入力画像と二枚目以降の
各入力画像との間の手振れによる動きがＣＣＤ３の受光
面に対して平行移動のみであれば、上述のように入力画
像の全ての位置で動き量は同一であるとして検出して、
上述のような効果を奏することが可能である。ところ
が、本静止画像入力装置に光軸回りの回転や前後方向の
動きが加わった場合には、入力画像の全ての位置での動
き量は同一ではなくなる。そこで、本実施例において
は、入力画像の複数の位置において独立して動き量を検
出するのである。

【００８３】尚、本実施例における静止画像入力装置の
概略構成は、図１に示すブロック図と同じである。図９
は、上記相関法(ブロックマッチング)を用いて手振れに
よる動きを検出する場合における動き検出部９および画
像合成部１０の構成を示す。本実施例においては、第１
実施例における上記アドレス生成手段１５を、第１アド
レス生成手段５５,第２アドレス生成手段５６,…,第Ｎ
アドレス生成手段５７で構成する。同様に、上記代表点
メモリ１６を第１代表点メモリ５８,第２代表点メモリ
５９,…,第Ｎ代表点メモリ６０で構成する。また、上記
残差演算手段１７を第１残差演算手段６１,第２残差演
算手段６２,…,第Ｎ残差演算手段６３で構成する。ま
た、上記残差メモリ１８を第１残差メモリ６４,第２残
差メモリ６５,…,第Ｎ残差メモリ６６で構成する。ま
た、上記動き検出手段１９を第１動き検出手段６７,第
２動き検出手段６８,…,第Ｎ動き検出手段６９で構成す
るのである。上記画像合成部１０は、テンポラリ画像メ
モリ７０およびアドレス生成手段７１を有している。

【００８４】そして、上記一枚目の入力画像から代表画
素を選出する際には以下のようにする。すなわち、一枚
目の入力画像をＮ個の領域に分割(例えば、縦横２つず
つ合計４個の領域に分割)し、夫々の領域全体から均一
に代表画素を選出するのである。そして、第１領域の代
表画素のディジタル静止画像信号を第１代表点メモリ５
８に記録し、第２領域の代表画素のディジタル静止画像
信号を第２代表点メモリ５９に記録し、以下同様にし
て、第Ｎ領域の代表画素のディジタル静止画像信号を第
Ｎ代表点メモリ６０に記録するのである。

【００８５】一方、上記二枚目以降の何れかの入力画像
も同様にＮ個の領域に分割し、第１領域のディジタル静
止画像信号を第１残差演算手段６１に送出し、第２領域
のディジタル静止画像信号を第２残差演算手段６２に送
出し、以下同様にして、第Ｎ領域のディジタル静止画像
信号を第Ｎ残差演算手段６３に送出する。そうすると、
上記第１残差演算手段６１は、一枚目の入力画像におけ
る第１領域と当該二枚目以降の入力画像の第１領域との
間の残差を式(１)によって演算して第１残差メモリ６４
に記録する。そして、第１動き検出手段６７は、第１残
差メモリ６４に記録された上記第１領域における残差に
基づいて第１領域を代表する動き量を検出して画像合成
部１０のアドレス生成手段７１に送出する。以下同様に
して、各番号の残差演算手段,残差メモリおよび動き検
出手段は、両入力画像間における対応する領域を代表す
る動き量を独立して求めるのである。

【００８６】換言すれば、本実施例における動き検出部
９は、アドレス生成手段,代表点メモリ,残差演算手段,
残差メモリおよび動き検出手段からなる組をＮ組有し
て、入力画像のＮ個の領域における動き量を独立して検
出するのである。

【００８７】上記画像合成部１０のアドレス生成手段７
１は、第１動き検出手段６７〜第Ｎ動き検出手段６９か
ら送出されてくるＮ個の動き量に基づいて、当該二枚目
以降の入力画像における各領域毎にディジタル静止画像
信号を書き込むべきメイン画像メモリ８上の書き込みア
ドレスを計算する。そして、テンポラリ画像メモリ７０
への読み出しアドレスに同期してメイン画像メモリ８に
送出するのである。

【００８８】尚、上記第１残差演算手段６１〜第Ｎ残差
演算手段６３は、上記残差の代わりに、式(２)による差
の二乗和や式(３)による相互相関係数を用いてもよい。

【００８９】図１０は、上記勾配法(オプティカルフロ
ー)を用いて手振れによる動きを検出する場合における
動き検出部９および画像合成部１０の構成を示す。本実
施例における動き検出部９は、第１代表点メモリ７５,
第２代表点メモリ７６,オプティカルフロー演算手段７
７,オプティカルフローメモリ７８および動き決定手段
７９を有している。また、画像合成部１０は、テンポラ
リ画像メモリ８０およびアドレス生成手段８１を有して
いる。

【００９０】上記オプティカルフロー演算手段７７は、
第１代表点メモリ７５に記録された一枚目の入力画像に
おける代表画素のディジタル静止画像信号と第２代表点
メモリ７６に記録された二枚目以降の何れかの入力画像
における代表画素のディジタル静止画像信号とに基づい
て、式(４)に従ってオプティカルフローを演算してオプ
ティカルフローメモリ７８に代表画素毎に記録する。

【００９１】そうすると、上記動き決定手段７９は、オ
プティカルフローメモリ７８に各代表画素毎に記録され
ている複数の演算結果に基づいて、入力画像を複数の領
域に分割した際における各領域毎に各領域を代表する動
き量を算出して画像合成部１０のアドレス生成手段８１
に送出するのである。上記アドレス生成手段８１は、動
き決定手段７９から送出されてくる各領域毎の動き量に
基づいて、当該二枚目以降の入力画像における各領域毎
にディジタル静止画像信号を書き込むべきメイン画像メ
モリ８上の書き込みアドレスを計算する。そして、テン
ポラリ画像メモリ８０への読み出しアドレスに同期して
メイン画像メモリ８に送出する。

【００９２】上述のように、本実施例における上記動き
検出部９は、ＣＣＤ３によって取り込まれた各入力画像
を複数の領域に分割して夫々の領域毎に独立して動き量
を検出する。したがって、画像合成部１０のアドレス生
成手段７１,８１は各領域毎にメイン画像メモリ８上の
書き込みアドレスを計算でき、本静止画像入力装置の光
軸回りの回転や前後方向の動きに対応できる。

【００９３】＜第４実施例＞本実施例は、上述の第１実
施例において、一枚目の入力画像と二枚目以降の各入力
画像との間の手振れによる動き量を入力画像の複数の位
置において独立して検出し、上記動き量を検出した位置
以外では補完処理によって動き量を求める例である。上
述した第３実施例においては、上記一枚目の入力画像と
二枚目以降の各入力画像との間の手振れによる動きは両
入力画像の各領域内では一定であるとして上記手振れに
よる動き量を検出している。したがって、本静止画像入
力装置に加わる光軸回りの回転や前後方向の動きが大き
くなった場合には、得られる高精細静止画像における入
力画像の各領域に対応する領域の境界が目立って不自然
な静止画像となる。そこで、本実施例においては、入力
画像の複数の位置間の動き量を補完によって求めるので
ある。

【００９４】尚、本実施例における静止画像入力装置の
概略構成は、図１に示すブロック図と同じである。図１
１は、上記相関法(ブロックマッチング)を用いて手振れ
による動きを検出する場合における動き検出部９および
画像合成部１０の構成を示す。本実施例の動き検出部９
は、第３実施例における動き検出部９(図９参照)と同様
に、第１実施例における上記アドレス生成手段１５,代
表点メモリ１６,残差演算手段１７,残差メモリ１８およ
び動き検出手段１９の夫々を、Ｎ個のアドレス生成手段
８５〜８７,Ｎ個の代表点メモリ８８〜９０,Ｎ個の残差
演算手段９１〜９３,Ｎ個の残差メモリ９４〜９６およ
びＮ個の動き検出手段９７〜９９で形成した構成を有し
ている。さらに、上記Ｎ個の動き検出手段９７〜９９か
らの出力を動き予測手段１００に送出する。

【００９５】上記Ｎ組のアドレス生成手段,代表点メモ
リ,残差演算手段,残差メモリおよび動き検出手段は、図
９に示す動き検出部９の場合と同様に動作して、一枚目
の入力画像と二枚目以降の何れかの入力画像との間の手
振れによる動き量を対応する領域毎に独立して行う。そ
して、得られたＮ個の動き量が動き予測手段１００に入
力される。

【００９６】そうすると、上記動き予測手段１００は、
入力されたＮ個の動き量を夫々を当該二枚目以降の入力
画像の対応する領域における中心画素での動き量である
と見なして、そのＮ個の中心画素以外の画素での動き量
を周辺の領域における各画素での動き量を利用して補完
処理によって求める。そして、求めた当該二枚目以降の
入力画像の各画素毎の動き量を画像合成部１０のアドレ
ス生成手段１０２に送出する。上記アドレス生成手段１
０２は、動き予測手段１００から送出されてくる当該二
枚目以降の入力画像の各画素毎の動き量に基づいて、当
該二枚目以降の入力画像における各画素の静止画像信号
を書き込むべきメイン画像メモリ８上の書き込みアドレ
スを計算する。そして、テンポラリ画像メモリ１０１へ
の読み出しアドレスに同期してメイン画像メモリ８に送
出する。

【００９７】尚、上記残差演算手段９１〜９３は、残差
の代わりに、式(２)による差の二乗和や式(３)による相
互相関係数を用いてもよい。

【００９８】第１２図は、上記勾配法(オプティカルフ
ロー)を用いて手振れによる動きを検出する場合におけ
る動き検出部９および画像合成部１０の構成を示す。本
実施例における動き検出部９は、第１代表点メモリ１０
５,第２代表点メモリ１０６,オプティカルフロー演算手
段１０７,オプティカルフローメモリ１０８,動き決定手
段１０９および動き予測手段１１０を有している。ま
た、画像合成部１０は、テンポラリ画像メモリ１１１お
よびアドレス生成手段１１２を有している。

【００９９】上記第１代表点メモリ１０５,第２代表点
メモリ１０６,オプティカルフロー演算手段１０７,オプ
ティカルフローメモリ１０８および動き決定手段１０９
は、図１０に示す動き検出部９における第１代表点メモ
リ７５,第２代表点メモリ７６,オプティカルフロー演算
手段７７,オプティカルフローメモリ７８および動き決
定手段７９と同様に動作して、二枚目以降の何れかの入
力画像における各領域毎の動き量を求める。

【０１００】そうすると、上記動き予測手段１１０は、
入力された動き量の夫々を当該二枚目以降の入力画像の
対応する領域における中心画素での動き量であると見な
し、その中心画素以外の画素での動き量を周辺の領域に
おける各画素での動き量を利用して補完処理によって求
める。そして、求めた当該二枚目以降の入力画像の各画
素毎の動き量を画像合成部１０のアドレス生成手段１１
２に送出する。上記アドレス生成手段１１２は、動き予
測手段１１０から送出されてくる当該二枚目以降の入力
画像の各画素毎の動き量に基づいて、当該二枚目以降の
入力画像における各画素の静止画像信号を書き込むべき
メイン画像メモリ８上の書き込みアドレスを計算する。
そして、テンポラリ画像メモリ１１１への読み出しアド
レスに同期してメイン画像メモリ８に送出する。

【０１０１】上述のように、本実施例における上記動き
検出部９は、ＣＣＤ３によって取り込まれた各入力画像
を複数の領域に分割して夫々の領域毎の動き量を独立し
て検出する。そして、動き予測手段１００,１１０によ
って、各領域毎の動き量をその領域の中心画素での動き
量であると見なし、中心画素以外の画素での動き量を周
辺画素の動き量を用いた補完処理によって求めるように
している。したがって、上記画像合成部１０のアドレス
生成手段１０２,１１２は個々の画素毎に独立してメイ
ン画像メモリ８上の書き込みアドレスを計算でき、本静
止画像入力装置に加わる光軸回りの回転や前後方向の動
きが大きい場合にも対応できる。

【０１０２】＜第５実施例＞図１３は、本実施例におけ
る静止画像入力装置のブロック図である。この静止画像
入力装置は、光学部１１５,ＣＣＤ１１６,ＣＣＤ駆動部
１１７,信号処理部１１８,Ａ/Ｄ変換部１１９,タイミン
グ制御部１２０,メイン画像メモリ１２１,動き検出部１
２２,画像合成部１２３,ファインダ１２５および外部Ｉ
/Ｆ１２６を有している。

【０１０３】上記光学部１１５,ＣＣＤ１１６,ＣＣＤ駆
動部１１７,信号処理部１１８,Ａ/Ｄ変換部１１９,タイ
ミング制御部１２０,メイン画像メモリ１２１,動き検出
部１２２,ファインダ１２５および外部Ｉ/Ｆ１２６は、
図１に示す光学部２,ＣＣＤ３,ＣＣＤ駆動部４,信号処
理部５,Ａ/Ｄ変換部６,タイミング制御部７,メイン画像
メモリ８,動き検出部９,ファインダ１１および外部Ｉ/
Ｆ１２と同様に動作する。本実施例における画像合成部
１２３は、補完処理手段１２４を有している。そして、
メイン画像メモリ１２１上への高精細静止画像の合成が
終了した際にディジタル静止画像信号が書き込まれてい
ない画素が存在する際には、周囲の画素のディジタル静
止画像信号を用いて補完処理手段１２４によって補完処
理を行うのである。その際に、上記補完処理手段１２４
はバッファ(図示せず)を有して、メイン画像メモリ１２
１上の画素に二枚目以降の入力画像のディジタル静止画
像信号が書き込まれる毎にその画素のアドレスを書き込
む。そして、上記補完処理を行う場合には、上記バッフ
ァに書き込まれているアドレスの画素に対する補完処理
をパスするのである。

【０１０４】尚、本実施例における動き検出部１２２の
実際の構成は、図２〜図４,図６〜図１２の何れに示す
構成であっても構わない。また、画像合成部１２３に
は、図２〜図４,図６〜図１２の何れかに示すテンポラ
リ画像メモリおよびアドレス生成手段が設けられている
ものとする。

【０１０５】図１４は、図１３に示す本実施例の静止画
像入力装置によって行われる静止画像入力処理動作のフ
ローチャートである。以下、図１４に従って、静止画像
入力処理動作について説明する。

【０１０６】ステップＳ1で、上記タイミング制御部１
２０の制御の下に、光学部１１５,ＣＣＤ１１６,ＣＣＤ
駆動部１１７,信号処理部１１８およびＡ/Ｄ変換部１１
９によって、ＣＣＤ１１６の受光面一枚分のディジタル
静止画像信号が入力されて一枚目の入力画像が取り込ま
れる。ステップＳ2で、上記Ａ/Ｄ変換部１１９からの一
枚目の入力画像のディジタル静止画像信号がメイン画像
メモリ１２１の所定の位置に記録され、メイン画像が作
成される。さらに、一枚目の入力画像のディジタル静止
画像信号は動き検出部１２２に送出される。その際に、
上記メイン画像メモリ１２１に最終的に合成される高精
細静止画像画素数は一枚目の入力画像の画素数の縦方向
にはＮy倍であり横方向にはＮx倍であるとすると、一枚
目の入力画像はメイン画像メモリ８上における縦方向に
(Ｎy−１)画素おきの位置に横方向に(Ｎx−１)画素おき
の位置に記録される。

【０１０７】ステップＳ3で、上記光学部１１５,ＣＣＤ
１１６,ＣＣＤ制御部１１７,信号処理部１１８およびＡ
/Ｄ変換部１１９によって、同一被写体に係るディジタ
ル静止画像信号が入力されて二枚目以降の入力画像が取
り込まれて、動き検出部１２２に送出される。ステップ
Ｓ4で、上記動き検出部１２２によって、同一被写体に
係る上記一枚目の入力画像と当該二枚目以降の入力画像
との間の手振れによる動き量が検出される。さらに、画
像合成部１２３によって、上記検出された動き量に基づ
いて当該二枚目以降の入力画像の各ディジタル静止画像
信号をメイン画像メモリ１２１へ書き込む際の書き込み
アドレスが算出される。尚、上記動き量の検出は、上記
一枚目の入力画像における縦方向に１/Ｎy画素単位で横
方向に１/Ｎx画素単位で(すなわち、メイン画像メモリ
１２１上に最終的に合成される高精細静止画像における
一画素単位で)検出される。

【０１０８】ステップＳ5で、上記メイン画像メモリ１
２１によって、既に書き込まれている一枚目の入力画像
における隣接画素間であって、画像合成部１２３によっ
て求められた書き込みアドレスで指定された位置に当該
二枚目以降の入力画像のディジタル静止画像信号が書き
込まれる。こうして、当該二枚目以降の入力画像の画素
が一枚目の入力画像の画素間に内挿される。その際に、
上記メイン画像メモリ１２１上における書き込みアドレ
スで指定された位置に既にディジタル静止画像信号が書
き込まれている場合には、当該ディジタル静止画像信号
で強制的に書き換えるのである。ステップＳ6で、次の
入力画像を取り込むか否かが判定される。その結果、取
り込む場合にはステップＳ3に戻って次の入力画像に対
する処理に移行する。一方、取り込まない場合にはステ
ップＳ7に進む。ステップＳ7で、この時点でメイン画像
メモリ１２１上の合成画像にディジタル静止画像信号が
書き込まれていない画素が存在する場合には、画像合成
部１２３の補完処理手段１２４によって周囲の画素のデ
ィジタル静止画像信号を用いて補完処理が行われる。ス
テップＳ8で、上記メイン画像メモリ１２１上に書き込
まれている合成画像（高精細静止画像)のディジタル静
止画像信号が、外部Ｉ/Ｆ１２４を介して外部へ出力さ
れる。

【０１０９】このように、本実施例においては、上記メ
イン画像メモリ１２１上における書き込みアドレスの画
素の内容を当該ディジタル静止画像信号で強制的に書き
換える。また、メイン画像メモリ１２１上に形成された
高精細静止画像にディジタル静止画像信号が書き込まれ
ていない画素が存在する場合には、画像合成部１２３の
補完処理手段１２４によって補完するようにしている。
したがって、簡単な内挿処理で高精細な静止画像を入力
できる。

【０１１０】＜第６実施例＞図１５は、本実施例におけ
る静止画像入力装置のブロック図である。この静止画像
入力装置は、光学部１３１,ＣＣＤ１３２,ＣＣＤ駆動部
１３３,信号処理部１３４,Ａ/Ｄ変換部１３５,タイミン
グ制御部１３６,メイン画像メモリ１３７,動き検出部１
３８,画像合成部１３９,ファインダ１４２および外部Ｉ
/Ｆ１４３を有している。また、上記画像合成部１３９
は、補完処理手段１４０および画素更新確認手段１４１
を有している。そして、画素更新確認手段１４１によっ
て、画像合成部１３９によって算出されたメイン画像メ
モリ１３７上のアドレスの画素が、既にディジタル静止
画像信号によって更新されているかを確認するのであ
る。

【０１１１】尚、本実施例における動き検出部１３８の
実際の構成は、図２〜図４,図６〜図１２の何れに示す
構成であっても構わない。また、画像合成部１３９に
は、図２〜図４,図６〜図１２の何れかに示すテンポラ
リ画像メモリおよびアドレス生成手段が設けられている
ものとする。

【０１１２】図１６は、図１５に示す静止画像入力装置
によって行われる静止画像入力処理動作のフローチャー
トである。以下、図１６に従って、本実施例の静止画像
入力処理動作について説明する。

【０１１３】ステップＳ11〜ステップＳ14で、図１４に
おけるステップＳ1〜ステップＳ4と同様にして、一枚目
の入力画像が取り込まれ、メイン画像が作成され、二枚
目以降の入力画像が取り込まれ、当該二枚目以降の入力
画像の動き量が検出され、当該二枚目以降の入力画像の
各ディジタル静止画像信号を書き込むべきメイン画像メ
モリ１３７上の書き込みアドレスが算出される。

【０１１４】ステップＳ15で、上記画像合成部１３９に
よって算出されたメイン画像メモリ１３７上の書き込み
アドレスの画素の内容が他のディジタル静止画像信号に
よって既に更新されているか否かが、上記画素更新確認
手段１４１によって確認される。その結果、更新されて
いなければステップＳ16に進み、そうでなければステッ
プＳ16をスキップする。

【０１１５】ステップＳ16〜ステップＳ19で、図１４に
おけるステップＳ5〜ステップＳ8と同様にして、当該二
枚目以降の入力画像の画素が一枚目の入力画像の画素間
に内挿され、次の入力画像を取り込まない場合には画像
合成部１３９の補完処理手段１４０によって補完処理が
行われ、メイン画像メモリ１３７上の高精細静止画像が
外部へ出力される。

【０１１６】このように、本実施例においては、上記画
像合成部１３９で算出されたメイン画像メモリ１３７上
の書き込みアドレスの画素の内容が他のディジタル静止
画像信号で既に更新されているか否かを画素更新確認手
段１４１によって確認し、更新されている場合には当該
二枚目以降の入力画像の画素の一枚目の入力画像の画素
間への内挿をパスするようにしている。したがって、画
素内挿時間を短縮して高精細な静止画像を高速に入力で
きる。

【０１１７】＜第７実施例＞図１７は、本実施例におけ
る静止画像入力装置のブロック図である。この静止画像
入力装置は、光学部１４５,ＣＣＤ１４６,ＣＣＤ駆動部
１４７,信号処理部１４８,Ａ/Ｄ変換部１４９,タイミン
グ制御部１５０,メイン画像メモリ１５１,動き検出部１
５２,画像合成部１５３,ファインダ１５７および外部Ｉ
/Ｆ１５８を有している。また、上記画像合成部１５３
は、補完処理手段１５４,画素更新確認手段１５５およ
び更新判定手段１５６を有している。そして、画素更新
確認手段１５５で既に更新されていると確認され画素の
内容を新たなディジタル静止画像信号で更新するか否か
を更新判定手段１５６によって判定するのである。

【０１１８】尚、本実施例における動き検出部１５２の
実際の構成は、図２〜図４,図６〜図１２の何れに示す
構成であっても構わない。また、画像合成部１５３に
は、図２〜図４,図６〜図１２の何れかに示すテンポラ
リ画像メモリおよびアドレス生成手段が設けられている
ものとする。

【０１１９】図１８は、図１７に示す本実施例の静止画
像入力装置によって行われる静止画像入力処理動作のフ
ローチャートである。以下、図１８に従って、本実施例
の静止画像入力装置による静止画像入力処理動作につい
て説明する。

【０１２０】ステップＳ21〜ステップＳ24で、図１４に
おけるステップＳ1〜ステップＳ4と同様にして、一枚目
の入力画像が取り込まれ、メイン画像が作成され、二枚
目以降の入力画像が取り込まれ、当該二枚目以降の入力
画像の動き量が検出され、当該二枚目以降の入力画像の
各ディジタル静止画像信号を書き込むべきメイン画像メ
モリ１５１上の書き込みアドレスが算出される。

【０１２１】ステップＳ25で、上記画像合成部１５３に
よって算出されたメイン画像メモリ１５１上の書き込み
アドレスの画素の内容が他のディジタル静止画像信号に
よって既に更新されているか否かが、上記画素更新確認
手段１５５によって確認される。その結果、更新されて
いなければステップＳ27に進み、そうでなければステッ
プＳ26に進む。ステップＳ26で、上記画像合成部１５３
の更新判定手段１５６によって、既に更新されている画
素の内容を当該二枚目の以降入力画像のディジタル静止
画像信号で更新するか否かが判定される。その結果、更
新すると判定された場合にはステップＳ27に進み、そう
でなければステップＳ27をスキップする。

【０１２２】その際における上記更新判定手段１５６に
よる更新判定は、例えば動き検出部１５２で動き量を検
出する際に求めた残差の値を画素更新判定の信頼値とし
て上記画素更新信頼値格納手段であるバッファ(図示せ
ず)に格納し、その信頼値を用いて次のように行う。す
なわち、上記更新判定手段１５６は、画像合成部１５３
が当該更新済み画素のアドレスを先回算出した際に基と
した動き量に係る信頼値(残差)を上記バッファから読み
出し、動き検出部１５２で今回動き量を求める際に用い
た信頼値(残差)と比較する。そして、今回の信頼値が
“小さい"(上記相互相関係数の場合には“大きい")場合
には再度更新すると判定し、そうでない場合には今回の
更新をパスすると判定するのである。

【０１２３】ステップＳ27〜ステップＳ30で、図１４に
おけるステップＳ5〜ステップＳ8と同様にして、当該二
枚目以降の入力画像の画素が一枚目の入力画像の画素間
に内挿され、次の入力画像を取り込まない場合には画像
合成部１５３の補完処理手段１５４によって補完処理が
行われ、メイン画像メモリ１５１上に合成された高精細
静止画像が外部へ出力される。

【０１２４】このように、本実施例においては、上記画
像合成部１５３で算出されたメイン画像メモリ１５１上
のアドレスの画素内容が他のディジタル静止画像信号で
既に更新されているか否かを画素更新確認手段１５５に
よって確認する。そして、更新されている場合であっ
て、更新判定手段１５６によって更に更新すると判定さ
れた場合に、当該二枚目以降の入力画像の画素を一枚目
の入力画像の画素間に内挿するようにしている。したが
って、高精細な静止画像を合成するのに最適なディジタ
ル静止画像信号を用いて画素内挿を行って、高画質で高
精細な静止画像を高速に入力できる。

【０１２５】＜第８実施例＞図１９は、本実施例におけ
る静止画像入力装置のブロック図である。この静止画像
入力装置は、光学部１６１,ＣＣＤ１６２,ＣＣＤ駆動部
１６３,信号処理部１６４,Ａ/Ｄ変換部１６５,タイミン
グ制御部１６６,メイン画像メモリ１６７,動き検出部１
６８,画像合成部１６９,ファインダ１７２および外部Ｉ
/Ｆ１７３を有している。また、上記画像合成部１６９
は、補完処理手段１７０および画像合成終了判定手段１
７１を有している。

【０１２６】尚、本実施例における動き検出部１６８の
実際の構成は、図２〜図４,図６〜図１２の何れに示す
構成であっても構わない。また、画像合成部１６９に
は、図２〜図４,図６〜図１２の何れかに示すテンポラ
リ画像メモリおよびアドレス生成手段が設けられている
ものとする。尚、画像合成部１６９には、更に加えて図
１５,図１７の何れかに示す画素更新確認手段や更新判
定手段を設けても構わない。

【０１２７】本実施例においては、図１４に示す静止画
像入力処理動作のフローチャートにおける上記ステップ
Ｓ6、あるいは、図１６に示す静止画像入力処理動作の
フローチャートにおける上記ステップＳ17、あるいは、
図１８に示す静止画像入力処理動作のフローチャートに
おける上記ステップＳ28に相当する“次の入力画像を取
り込むか否かの判定"を行うに際しては、以下のように
して判定する。

【０１２８】上記画像合成部１６９によって算出された
メイン画像メモリ１６７上の書き込みアドレスの画素に
二枚目以降の入力画像のディジタル静止画像信号が書き
込まれると、上記更新画素格納手段であるバッファ(図
示せず)に書き込みが終了したメイン画像メモリ１６７
上の画素のアドレスを書き込む。そして、画像合成終了
判定手段１７１は、上記バッファにメイン画像メモリ１
６７上の総ての画素のアドレスが書き込まれた際には次
の入力画像を取り込まないと判定するのである。また、
上記補完処理手段１７０は、上述のようにして補完処理
を行う。したがって、本実施例によれば、高画質で高精
細な静止画像を高速に入力できる。

【０１２９】＜第９実施例＞図２０は本実施例における
静止画像入力装置のブロック図である。この静止画像入
力装置は、画像合成部１８３に初期補完処理手段１８４
および入力画像枚数判定手段１８５を設けている。尚、
本実施例における動き検出部１８２の実際の構成は、図
２〜図４,図６〜図１２の何れに示す構成であっても構
わない。また、画像合成部１８３には、図２〜図４,図
６〜図１２の何れかに示すテンポラリ画像メモリおよび
アドレス生成手段が設けられているものとする。尚、画
像合成部１８３には、更に加えて図１５,図１７の何れ
かに示す画素更新確認手段や更新判定手段を設けても構
わない。

【０１３０】本実施例においては、図１４に示す静止画
像入力処理動作のフローチャートにおける上記ステップ
Ｓ2、あるいは、図１６に示す静止画像入力処理動作の
フローチャートにおける上記ステップＳ12、あるいは、
図１８に示す静止画像入力処理動作のフローチャートに
おける上記ステップＳ22に相当する“メイン画像の作
成"を行うに際しては、以下のようにして作成する。

【０１３１】すなわち、上記一枚目の入力画像のディジ
タル静止画像信号がメイン画像メモリ１８１上における
縦方向に(Ｎy−１)画素おきの位置に、横方向に(Ｎx−
１)画素おきの位置に書き込まれると、初期補完処理手
段１８４は、上記書き込まれたディジタル静止画像信号
に基づいてディジタル静止画像信号が書き込まれていな
い画素のディジタル静止画像信号を予め補完しておくの
である。したがって、本実施例においては、図１４に示
す静止画像入力処理動作のフローチャートにおける上記
ステップＳ7、あるいは、図１６に示す静止画像入力処
理動作のフローチャートにおける上記ステップＳ18、あ
るいは、図１８に示す静止画像入力処理動作のフローチ
ャートにおける上記ステップＳ29に相当する“補完処
理"は行う必要がないのである。

【０１３２】また、図１４に示す静止画像入力処理動作
のフローチャートにおける上記ステップＳ6、あるい
は、図１６に示す静止画像入力処理動作のフローチャー
トにおける上記ステップＳ17、あるいは、図１８に示す
静止画像入力処理動作のフローチャートにおける上記ス
テップＳ28に相当する“次の入力画像を取り込むか否か
の判定"を行うに際しては、以下のようにして判定す
る。

【０１３３】上記画像合成部１８３は、動き検出部１８
２から二枚目以降のある入力画像に係る総ての動き量の
取り込みが終了する毎に内蔵するバッファ(図示せず)に
設定された上記入力画像枚数格納手段としてのカウンタ
をインクリメントする。そして、入力画像枚数判定手段
１８５は、上記カウンタの内容が上記バッファに予め記
憶している総取り込み枚数に至ったか否かを判定し、至
ったと判定されると次の入力画像を取り込まないと判定
するのである。したがって、本実施例によれば、必要以
上の入力画像の取り込みを無くして、高精細な静止画像
を高速に入力できる。

【０１３４】＜第１０実施例＞図２１は、本実施例にお
ける静止画像入力装置のブロック図である。この静止画
像入力装置は、画像合成部１９９に補完処理手段２００
および入力画像枚数判定手段２０１を設けている。尚、
本実施例における動き検出部１９８の実際の構成は、図
２〜図４,図６〜図１２の何れに示す構成であっても構
わない。また、画像合成部１９９には、図２〜図４,図
６〜図１２の何れかに示すテンポラリ画像メモリおよび
アドレス生成手段が設けられているものとする。尚、画
像合成部１９９には、更に加えて図１５,図１７の何れ
かに示す画素更新確認手段や更新判定手段を設けても構
わない。

【０１３５】本実施例においては、図１４に示す静止画
像入力処理動作のフローチャートにおける上記ステップ
Ｓ6、あるいは、図１６に示す静止画像入力処理動作の
フローチャートにおける上記ステップＳ17、あるいは、
図１８に示す静止画像入力処理動作のフローチャートに
おける上記ステップＳ28に相当する“次の入力画像を取
り込むか否かの判定"を行うに際しては、第９実施例の
場合と同様に、入力画像枚数判定手段２０１によって取
り込まれた入力画像枚数が設定枚数に至ったと判定され
ると次の入力画像を取り込まないと判定するのである。
そうすると、上記補完処理手段２００は、上述のよう
に、メイン画像メモリ１９７上にディジタル静止画像信
号が書き込まれていない画素が存在する際には、周囲の
画素のディジタル静止画像信号を用いて補完処理を行
う。したがって、本実施例によれば、必要以上の入力画
像の取り込みを無くして、高画質で高精細な静止画像を
高速に入力できる。

【０１３６】＜第１１実施例＞図２２は、本実施例にお
ける静止画像入力装置のブロック図である。この静止画
像入力装置は、画像合成部２１３に補完処理手段２１４
および信頼度比較手段２１５を設けている。尚、本実施
例における動き検出部２１２の実際の構成は、図２〜図
４,図６〜図１２の何れに示す構成であっても構わな
い。また、画像合成部２１３には、図２〜図４,図６〜
図１２の何れかに示すテンポラリ画像メモリおよびアド
レス生成手段が設けられているものとする。尚、画像合
成部２１３には、更に加えて図１５,図１７の何れかに
示す画素更新確認手段や更新判定手段を設けても構わな
い。

【０１３７】本実施例においては、図１４に示す静止画
像入力処理動作のフローチャートにおける上記ステップ
Ｓ6、あるいは、図１６に示す静止画像入力処理動作の
フローチャートにおける上記ステップＳ17、あるいは、
図１８に示す静止画像入力処理動作のフローチャートに
おける上記ステップＳ28に相当する“次の入力画像を取
り込むか否かの判定"を行うに際しては、例えば動き検
出部２１２で動き量を検出する際に求める残差の値を画
像合成判定の信頼値として、用いて次のようにして判定
する。

【０１３８】すなわち、上記信頼度比較手段２１５は、
動き検出部２１２で動き量を検出する際に用いた信頼値
(残差)と上記閾値格納手段であるバッファ(図示せず)に
登録されている閾値とを比較する。そして、信頼値が閾
値よりも大きい場合には、二枚目以降の入力画像の動き
量が高精細静止画像の合成に不適当な程大きくなったと
判断して、次の入力画像を取り込まないと判定するので
ある。また、上記補完処理手段２１４は、上述のように
して補完処理を行う。

【０１３９】したがって、本実施例によれば、必要以上
の入力画像の取り込みを無くして、高画質で高精細な静
止画像を高速に入力できる。

【０１４０】尚、第５実施例,第６実施例および第７実
施例における静止画像入力処理動作は、図１４,図１６
および図１８に示すフローチャートに限定されるもので
はない。

【０１４１】

【発明の効果】以上より明らかなように、請求項１に係
る発明の静止画像入力装置は、動き検出部によって、２
枚目以降の各ディジタル静止画像の手振れによる動き量
を１画素よりも細かい移動単位で検出し、画像合成部に
よって、画像メモリ上における１枚目のディジタル静止
画像の画素間の上記動き量に応じた位置に、２枚目以降
のディジタル静止画像の各画素を内挿して同一被写体の
複数のディジタル静止画像の合成画像を生成するので、
撮影領域全体を一度に撮れる画素数の少ない安価な二次
元イメージセンサを用いて、短い画像取り込み時間で、
高精細なディジタル静止画像を入力できる。

【０１４２】すなわち、この発明によれば、撮影領域全
体を一度に撮れる画素数の多い二次元イメージセンサ、
画素数の多い一次元イメージセンサや画素数の少ない二
次元イメージセンサを移動する移動機構、撮影領域を分
離/分割するための光学系を必要とせず、画像処理のみ
によって高精細ディジタル静止画像を合成するので、静
止画像入力装置を安価に提供できる。さらに、一度の撮
影によって手振れによる動き量を利用して高精細ディジ
タル静止画像を合成するので、手持ち撮影が可能とな
る。

【０１４３】また、請求項２に係る発明の静止画像入力
装置は、画像合成部は、動き検出部からの１つの代表画
素に係る動き量を当該ディジタル静止画像の全画素に係
る動き量であるとして内挿位置を求めるので、非常に簡
単な処理で高速に高精細なディジタル静止画像を合成で
きる。

【０１４４】また、請求項３に係る発明の静止画像入力
装置は、画像合成部は、動き検出部からの各領域におけ
る１つの代表画素に係る動き量を対応領域内の全画素に
係る動き量であるとして内挿位置を求めるので、上記各
領域毎に独立して動き量を検出して内挿位置を求めるこ
とができる。したがって、この発明によれば、上記２枚
目以降のディジタル静止画像の動きに光軸回りの回転や
前後方向の動きが加わっても、２枚目以降のディジタル
静止画像の動き量から高精細なディジタル静止画像を得
ることができる。

【０１４５】また、請求項４に係る発明の静止画像入力
装置は、動き検出部は動き予測手段を有して、２枚目以
降のディジタル静止画像の各領域における１つの代表画
素に係る動き量を検出した後に他の画素に係る動き量を
上記動き予測手段で補完し、画像合成部は、上記動き検
出部からの個々の画素に係る動き量に基づいて上記内挿
位置を求めるので、得られる高精細なディジタル静止画
像における上記各領域の境界が滑らかになる。したがっ
て、この発明によれば、２枚目以降のディジタル静止画
像の動きが大きい場合でも、自然な高精細ディジタル静
止画像を得ることができる。

【０１４６】また、請求項５に係る発明の静止画像入力
装置は、画像合成部によって、画像メモリ上における当
該内挿位置の画素に既に書き込まれているディジタル画
像情報を当該２枚目以降のディジタル静止画像のディジ
タル画像情報に強制的に置き換えるので、上記内挿処理
を簡単にして、高精細なディジタル静止画像を合成でき
る。

【０１４７】また、請求項６に係る発明の静止画像入力
装置は、画素更新確認手段が画像メモリ上における当該
内挿位置の画素の内容が既に他のディジタル画像情報で
更新されたと確認した場合には、画像合成部は、当該内
挿位置の画素を当該２枚目以降のディジタル静止画像の
ディジタル画像情報に置き換えないので、高精細なディ
ジタル静止画像を高速に合成できる。

【０１４８】また、請求項７に係る発明の静止画像入力
装置は、動き検出部からの２枚目以降のディジタル静止
画像における代表画素に係る動き量を表す情報を画素更
新判定用の信頼値として画像合成部の画素更新信頼値格
納手段に格納し、画素更新確認手段が画像メモリ上にお
ける当該内挿位置の画素が更新済みであることを確認し
た場合には、更新判定手段による上記画素更新信頼値格
納手段の信頼値に基づく判定結果に応じて当該内挿位置
の画素の内容を更新するので、入力された同一被写体に
係る複数枚数のディジタル静止画像から当該内挿位置の
画素に最適なディジタル画像情報を選択して、高精細な
ディジタル静止画像を精度よく合成できる。

【０１４９】また、上記各発明の静止画像入力装置は、
画像メモリ上における更新済み画素の情報を画像合成部
の更新画素格納手段に格納し、画像合成終了判定手段に
よって、上記更新画素格納手段の格納内容を参照して、
上記画像メモリ上の全画素が２枚目以降のディジタル画
像情報に更新されると合成画像の生成は終了したと判定
するようにすれば、高精細なディジタル静止画像が完成
すると自動的に画像合成処理を終了できる。さらに、上
記画像メモリ上に合成される高精細なディジタル静止画
像を実際に取り込まれたディジタル画像情報のみを用い
て合成できる。

【０１５０】さらに、上記各発明の静止画像入力装置
は、画像メモリに１枚目のディジタル静止画像を書き込
む際に画像合成部の初期補完処理手段によって未書き込
み画素を補完し、入力画像枚数判定手段によって入力画
像枚数格納手段に格納された入力画像の枚数が所定枚数
に達したと判定されると、画像合成部は入力画像取り込
みを中止するようにすれば、高精細なディジタル静止画
像を所定時間内に短時間で合成できる。

【０１５１】さらに、上記各発明の静止画像入力装置
は、入力画像枚数判定手段によって入力画像枚数格納手
段に格納された入力画像の枚数が所定枚数に達したと判
定されると、画像合成部は入力画像取り込みを中止し、
その時点で画像メモリ上における未更新画素を補完処理
手段によって補完するようにすれば、高精細なディジタ
ル静止画像を所定時間内に短時間で合成できる。

【０１５２】さらに、上記各発明の静止画像入力装置
は、信頼度比較手段によって当該内挿位置の画素に係る
画像合成判定用の信頼値が閾値格納手段に格納された上
記信頼値の閾値に達したと判定されると、画像合成部は
入力画像取り込みを中止するようにすれば、手振れによ
る動き量が高精細静止画像の合成に有効な範囲を越える
と自動的に高精細なディジタル静止画像の合成処理を終
了できる。

【図面の簡単な説明】

【図１】この発明の第１実施例における静止画像入力装
置のブロック図である。

【図２】図１における動き検出部および画像合成部の詳
細なブロック図である。

【図３】図１における動き検出部および画像合成部の図
２とは異なる詳細なブロック図である。

【図４】図１における動き検出部および画像合成部の図
２および図３とは異なる詳細なブロック図である。

【図５】図１におけるメイン画像メモリ上に高精細静止
画像を生成する方法の説明図である。

【図６】第２実施例における動き検出部および画像合成
部のブロック図である。

【図７】図６とは異なる動き検出部および画像合成部の
ブロック図である。

【図８】図６および図７とは異なる動き検出部および画
像合成部のブロック図である。

【図９】第３実施例における動き検出部および画像合成
部のブロック図である。

【図１０】図９とは異なる動き検出部および画像合成部
のブロック図である。

【図１１】第４実施例における動き検出部および画像合
成部のブロック図である。

【図１２】図１１とは異なる動き検出部および画像合成
部のブロック図である。

【図１３】第５実施例における静止画像入力装置のブロ
ック図である。

【図１４】図１３における静止画像入力装置によって行
われる静止画像入力処理動作のフローチャートである。

【図１５】第６実施例における静止画像入力装置のブロ
ック図である。

【図１６】図１５における静止画像入力装置によって行
われる静止画像入力処理動作のフローチャートである。

【図１７】第７実施例における静止画像入力装置のブロ
ック図である。

【図１８】図１７における静止画像入力装置によって行
われる静止画像入力処理動作のフローチャート図であ
る。

【図１９】第８実施例における静止画像入力装置のブロ
ック図である。

【図２０】第９実施例における静止画像入力装置のブロ
ック図である。

【図２１】第１０実施例における静止画像入力装置のブ
ロック図である。

【図２２】第１１実施例における静止画像入力装置のブ
ロック図である。

【符号の説明】

２,１１５,１３１,１４５,１６１,１７５,１９１,２０
５…光学部、３,１１６,１３２,１４６,１６２,１７６,
１９２,２０６…ＣＣＤ、８,１２１,１３７,１５１,１
６７,１８１,１９７,２１１…メイン画像メモリ、９,１
２２,１３８,１５２,１６８,１８２,１９８,２１２…動
き検出部、１０,１２３,１３９,１５３,１６９,１８３,
１９９,２１３…画像合成部、１５,３６,５５〜５７,８
５〜８７…アドレス生成手段、１６,３７,５８〜６０,
８８〜９０…代表点メモリ、１７,３８,６１〜６３,９
１〜９３…残差演算手段、１９,４０,６７〜６９,９７
〜９９…動き検出手段、２０,４１,７０,８０,１０１,
１１１…テンポラリ画像メモリ、２１,４２,７１,８１,
１０２,１１２…アドレス生成手段、２５,４５,７５,１
０５…第１代表点メモリ、２６,４６,７６,１０６…第
２代表点メモリ、２７,４７,７７,１０７…オプティカ
ルフロー演算手段、２９,４９,７９,１０９…動き決定
手段、３１,５１…水平ジャイロ、３２,５２
…垂直ジャイロ、１２４,１４０,１５４,１７０,２０
０,２１４…補完処理手段、１４１,１５５…画素更新確
認手段、１５６…更新判定手段、１７１…
画像合成終了判定手段、１８４…初期補完処理手段、
１８５,２０１…入力画像枚数判定手段、２１５
…信頼度比較手段。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/91

Claims

【特許請求の範囲】

【請求項１】光学部によって取り込まれた被写体の光
学的な画像情報を光電変換部およびＡ/Ｄ変換部によっ
て電気的なディジタル画像情報に変換し、得られたディ
ジタル静止画像を画像メモリに記録する静止画像入力装
置において、上記Ａ/Ｄ変換部からの同一被写体における複数枚のデ
ィジタル静止画像のディジタル画像情報に基づいて、２
枚目以降の各ディジタル静止画像の１枚目のディジタル
静止画像に対する手振れによる動き量を、上記ディジタ
ル静止画像の１画素よりも細かい移動単位で検出する動
き検出部と、上記画像メモリ上における１枚目のディジタル静止画像
の画素間であって、且つ、上記動き検出部からの動き量
に応じた位置の画素に、２枚目以降のディジタル静止画
像の各画素を内挿することによって、上記同一被写体の
複数枚のディジタル静止画像の合成画像を生成する画像
合成部を備えたことを特徴とする静止画像入力装置。
【請求項２】請求項１に記載の静止画像入力装置にお
いて、上記動き検出部は、上記２枚目以降の各ディジタル静止
画像における１つの代表画素に係る動き量を検出し、上記画像合成部は、上記動き検出部からの唯一つの動き
量を当該２枚目以降のディジタル静止画像の全画素に係
る動き量であるとして、当該２枚目以降のディジタル静
止画像における全画素の内挿位置を求めることを特徴と
する静止画像入力装置。
【請求項３】請求項１に記載の静止画像入力装置にお
いて、上記動き検出部は、上記２枚目以降の各ディジタル静止
画像を複数領域に分割して夫々の領域における１つの代
表画素に係る動き量を検出し、上記画像合成部は、上記動き検出部からの各領域におけ
る唯一つの動き量を当該２枚目以降のディジタル静止画
像の対応領域内の全画素に係る動き量であるとして、当
該２枚目以降のディジタル静止画像における全画素の内
挿位置を各領域毎に求めることを特徴とする静止画像入
力装置。
【請求項４】請求項１に記載の静止画像入力装置にお
いて、上記動き検出部は、上記２枚目以降のディジタル静止画
像における画素の動き量を予測する動き予測手段を有し
て、上記２枚目以降のディジタル静止画像の夫々の領域
における１つの代表画素に係る動き量を検出し、さら
に、上記動き予測手段によって、各領域内における他の
画素に係る動き量を予測して補完し、上記画像合成部は、上記動き検出部からの個々の画素に
係る動き量に基づいて当該２枚目以降のディジタル静止
画像の対応画素の内挿位置を求めることを特徴とする静
止画像入力装置。
【請求項５】請求項１乃至請求項４の何れか一つに記
載の静止画像入力装置において、上記画像合成部は、上記画像メモリ上における当該内挿
位置の画素に記録されているディジタル画像情報を当該
２枚目以降のディジタル静止画像のディジタル画像情報
に強制的に置き換えることを特徴とする静止画像入力装
置。
【請求項６】請求項１乃至請求項４の何れか一つに記
載の静止画像入力装置において、上記画像合成部は、上記画像メモリ上の画素の内容が既
に他のディジタル画像情報で更新されていることを確認
する画素更新確認手段を有して、この画素更新確認手段
によって上記画像メモリ上における当該内挿位置の画素
の内容が既に更新されていることを確認した場合には、
当該内挿位置の画素におけるディジタル画像情報を当該
２枚目以降のディジタル静止画像のディジタル画像情報
に置き換えないことを特徴とする静止画像入力装置。
【請求項７】請求項１乃至請求項４の何れか一つに記
載の静止画像入力装置において、上記画像合成部は、画素更新判定用の信頼値を格納する
画素更新信頼値格納手段、上記画像メモリ上の画素の内
容が既に他のディジタル画像情報で更新されていること
を確認する画素更新確認手段、および、上記画像メモリ
上の画素の内容を２枚目以降のディジタル静止画像のデ
ィジタル画像情報で更新するか否かを判定する更新判定
手段を有して、上記動き検出部によって求められた２枚
目以降のディジタル静止画像における代表画素に係る動
き量を表す情報を取り込んで画素更新判定用の信頼値と
して上記画素更新信頼値格納手段に格納し、上記画素更
新確認手段によって上記画像メモリ上における当該内挿
位置の画素の内容が既に更新されていることを確認した
場合には、上記更新判定手段によって上記画素更新信頼
値格納手段に格納された信頼値に基づいて当該内挿位置
の画素におけるディジタル画像情報を当該２枚目以降の
ディジタル静止画像のディジタル画像情報で更新するか
否かを判定し、この判定結果に応じて当該内挿位置の画
素の内容を更新することを特徴とする静止画像入力装
置。