JPH07177424A - 画像入力装置 - Google Patents

Abstract

(57)【要約】 【目的】 被写体からの光を結像させる光学系と、光学
系からの光を受けて電気信号に変換する光電変換手段
と、光学系によって結像される画像位置を相対的に移動
させて、画素ずらしを行う画素ずらし手段とを有し、被
写体を撮像するとき画素ずらし手段を駆動させ、同一被
写体を複数回撮像して合成する画像入力装置において、
画像入力装置が震動しても正常に画像を取り組めるよう
にする。 【構成】 画像入力装置における所定の震動を検知する
震動検知手段と、震動検知手段が震動を検知したとき
に、撮像を禁止する禁止手段を備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は被写体を光学的に取り
込み、ＣＣＤ等の撮像素子を用いて光電変換し、光電変
換された被写体像をＩＣカード、磁気ディスク等の記録
媒体に記録する画像入力装置に関する。

【０００２】

【従来の技術】現在、高解像度な画像入力装置では、Ｃ
ＣＤの有効画素数を見かけ上増やすために画素ずらし技
術を使用しているものがある。これは、同一の被写体を
複数回撮影して合成することで高解像度な画像を生成す
る技術であり、画素ずらし技術としては、ＣＣＤと光学
系の間にガラスを配置し、光の屈折を利用して結像位置
をずらして画素数を増加させる方法や、圧電素子等を利
用して、ＣＣＤを数μm単位で縦・横方向に移動させて
画素数を増加させる方法がある。いずれも、被写体に対
して相対的に移動させて見かけ上画素を増やす方法であ
る。これ以外にも、カメラ自体を動かしたり、被写体を
移動（静止物の場合、例えば複写機上の原稿の様な物を
想定）させる方法も考えられる。

【０００３】

【発明が解決しようとする課題】このような画素ずらし
の技術は数μmのオーダで画素ずらしを行うため、画像
入力装置には振動対策を行う必要が生じる。しかしなが
ら、数μmの振動を抑えることはかなり困難である。例
えば、ＣＣＤの画素ピッチの1/2づつ移動させて合成す
る装置の場合、１回目の撮影と、画素ずらしを行って２
回目の撮影を行う時に装置が震動してしまうと、２回目
の画像がＣＣＤの画素ピッチの間の画像でなく、画素上
の画像となったり、隣の画素間の画像となってしまう可
能性がある。従って、画像合成を行ったときに画素ずら
しを行ったのに関わらず、１回目の撮影と同じ画像とな
る可能性があり、２つの画像を合成した時に解像度が上
がらなくなるという結果になってしまう。

【０００４】

【課題を解決するための手段】上記課題は本願発明にお
ける、被写体からの光を結像させる光学系と、前記光学
系からの光を受けて電気信号に変換する光電変換手段
と、前記光学系によって結像される画像位置を相対的に
移動させて、画素ずらしを行う画素ずらし手段とを有
し、被写体を撮像するとき前記画素ずらし手段を駆動さ
せ、同一被写体を複数回撮像して合成する画像入力装置
において、前記画像入力装置における所定の震動を検知
する震動検知手段と、前記震動検知手段が震動を検知し
たときに、撮像を禁止する禁止手段を備えたことを特徴
とする画像入力装置、により解決される。

【０００５】

【実施例】以下、本発明の実施例をデジタルスチルカメ
ラに適用した例について、図１乃至図６にに基づき、詳
細に説明する。

【０００６】図１は、デジタルスチルカメラの構成を示
すものであり、１は撮影レンズ、絞りなどを含む光学
系、２は撮像素子としてのＣＣＤである。光学系１を通
してＣＣＤ２に結像された光学像は、ここで電気信号に
変換されて、プリプロセス回路３に送られる。プリプロ
セス回路３で、ＣＣＤ２からの画像信号は色分離処理、
γ変換処理、ホワイトバランス処理等の信号処理を施さ
れたのち、Ａ／Ｄ変換器４でデジタル信号に変換された
画像データは、メモリインタフェース５を通じて内蔵の
画像用バッファメモリ６に一時的に記憶される。バッフ
ァメモリ６に記憶された画像データは、圧縮・伸長イン
タフェース７を通じて圧縮・伸長処理回路８に順次読み
出され圧縮処理が施される。これらによって記録部が構
成される。

【０００７】圧縮処理後のデジタル画像データは、ＩＣ
メモリーカードインターフェース９を通してＩＣメモリ
カードスロット10内に挿入されたコネクタを介してカメ
ラ本体と接続されたＩＣメモリカード（図示せず）の、
コントロールユニット11により指定された領域に記録さ
れる。また、画像データの記録と同時に、コントロール
ユニット11から、撮影日時、画像データの画素数、圧縮
のための係数等の画像に対する不可データがＩＣメモリ
カードインターフェース９を通して送られ、メモリカー
ドの、コントロールユニット11で指定された領域に記録
される。前記コントロールユニット11が制御部を構成し
ている。

【０００８】ＩＣメモリカードに上述のようにして記録
された画像を再生するときは、先ず、コントロールユニ
ット11がＩＣメモリカードのフォーマットデータを読み
出し、求める画像データがＩＣメモリカードのどの領域
に記録されているか調べ、得られた画像データとその画
像の付加データを元に、ＩＣメモリカードインターフェ
ース９を通して画像用バッファメモリ６にデータを転送
する。従って、前記圧縮・伸長回路８からメモリインタ
フェース５までが、前記記録部と共に読み出し部を構成
している。バッファメモリ６に転送された画像データ
は、Ｄ／Ａ変換器12によりアナログの画像データに変換
されて、液晶モニタ駆動回路13を通してカメラに内蔵さ
れた液晶モニタ14に再生される。またビデオエンコーダ
15を通してＮＴＳＣ等のビデオ信号として外部に出力さ
れる。これらによって再生部が構成される。また、画像
の付加データとして記録されている撮影日時のデータ等
をコントロールユニット11のＣＰＵが判別し、キャラク
タジェネレータ16を駆動して液晶モニタ画像や外部出力
画像に撮影日時を、スーパーインポーズすることも可能
である。17はキャラクタジェネレータ用メモリである。

【０００９】なお、撮影時にプリプロセス回路３の出力
をＡ／Ｄ変換及びＤ／Ａ変換せずに、液晶モニタ駆動回
路13やビデオエンコーダ15に直接入力することによっ
て、これから撮影する映像をモニタしてチェックするこ
とが可能である。或いは、一旦画像用バッファメモリ６
に取り込んだ後、圧縮処理を施して記録する前に、メモ
リインタフェース５を会してＤ／Ａ変換器12でアナログ
画像データに変換し、液晶モニタ14やビデオ信号として
外部に出力して記録前の映像をチェックすることも可能
である。

【００１０】このようなデジタルカメラの記録・再生動
作は、図示しない記録再生切り換えスイッチ等の動作モ
ード設定スイッチで選択され、その選択に基づいてコン
トロールユニット11のＣＰＵがプログラム用メモリに予
め記録されている内容に従って、タイミング回路から同
期信号を発生させて各回路の動作を制御して行われる。

【００１１】図２はプリプロセス回路の詳細を示したも
のである。ＣＣＤ２の出力はＣＤＳ回路21によって映像
信号成分のみ取り出され、ＡＧＣ回路22により増幅され
る。このときに、ＣＣＤ２の個々の感度のばらつきを吸
収するために、ＡＧＣ回路22の増幅度を、ＡＧＣゲイン
制御信号により制御する。次に、色分離回路23により、
ＡＧＣ回路22からの映像出力を、Ｒ、Ｇ、Ｂの各色信号
成分に分解して、ＣＣＤ２の個々の色フィルタの分光感
度のばらつきを吸収し、被写体の色温度にあったホワイ
トバランスに調整するために、マトリックスゲイン・
Ｒ、マトリックスゲイン・Ｂ、の各制御信号により、
Ｒ、Ｂの色信号のレベルを調整する。レベルが調整され
たＲ、Ｇ、Ｂの各色信号は各γ変換／ニー回路24、25、
26で処理され、マトリックス回路27によりＹ、Ｒ−Ｙ、
Ｂ−Ｙの３つのコンポーネント信号が作られる。このコ
ンポーネント信号に対しＣＣＤ２の個々の色フィルタの
分光感度のばらつきを吸収し、望ましい映像信号のレベ
ルを、Ｒ−Ｙヒュー、Ｂ−Ｙヒューの各制御信号とＹゲ
イン、Ｒ−Ｙゲイン、Ｂ−Ｙゲインの各制御信号により
調整し、Ａ／Ｄ変換器４に信号を出力する。

【００１２】図３は前記ビデオエンコーダ15の詳細を示
した図である。Ｄ／Ａ変換器12によりアナログ信号に変
換されたＹ、Ｒ−Ｙ、Ｂ−Ｙの各コンポーネント信号は
スーパーインポーズするためにキャラクタジェネレータ
18で発生させたキャラクタ信号と足し合わされる。この
とき、Ｄ／Ａ変換時に生じるカメラ個々のばらつきを吸
収し、望ましい映像信号に調整するために、Ｙ、Ｒ−
Ｙ、Ｂ−Ｙ各信号のレベルを、Ｙゲイン、Ｒ−Ｙゲイ
ン、Ｂ−Ｙゲインの各制御信号により調整する。Ｙ信号
は、エッジ強調回路31においてエッジ強調レベル制御信
号で、エッジ強調レベルが、セットアップ回路32におい
てセットアップレベル制御信号でセットアップレベル
が、それぞれ調整され、このＹ信号は、各変調器33、34
で平衡変調された色信号及びバースト変調器35でバース
ト位相制御信号により位相調整された後、バーストレベ
ル制御信号でレベル調整されたバースト信号と足し合わ
されて、ＮＴＳＣのビデオ出力信号が得られる。

【００１３】以上のプリプロセス回路３及びビデオエン
コーダ15の各部における信号調整のための各制御信号
は、個々の回路に直流電圧として与えられ、この直流電
圧は図示しないＤ／Ａ変換器に入力する調整結果として
予め得られているデジタルデータに基づいて発生する電
圧である。

【００１４】前記図示しないＤ／Ａ変換器に入力される
デジタルデータは、コントロールユニット11内に設けた
電気的に書換え可能な不揮発性メモリに保存されている
データが、又は、回路内の信号をＡ／Ｄ変換することで
デジタルデータとしてコントロールユニット11に取り込
みプログラム用メモリに保存されているデータとＣＰＵ
の演算結果として得られる値である。

【００１５】図４（ａ）、図４（ｂ）、図４（ｃ）は、
本願発明の係わる画像判別の原理を示したものであり、
撮像素子を移動したときの画像の出現具合を示したもの
である。各図では、ＲＧＢの縦ストライプフィルタを使
用したＣＣＤで説明している。図４（ａ）は、１度目の
撮影結果を示したものであり、撮影した画像が斜めのラ
イン状のときにどのように、ＣＣＤの画素上に取り込ま
れるのかを示したものである。図４（ｃ）は図４（ａ）
のＣＣＤを１画素ピッチ分ずらしたものである。図４
（ａ）と比較して、ＣＣＤの画素上へ取り込んでいる形
は全く同じであるが、ＲＧＢの色の取り込みかたは図４
（ａ）の取り込み方と丁度１ラインずれているよう取り
込まれるのが分かる。

【００１６】一方、図４（ｂ）では図４（ａ）のＣＣＤ
を画素ピッチの1/2ピッチ右に移動させて画像を取り込
んだものである。図４（ａ）と比較すると、ＣＣＤの画
素上に取り込んでいる形が異なっていることがわかる。
また、ＲＧＢの色の配列に着目すると、ある位置（水平
方向）の画素は、図４（ａ）中の色と同じ画素である
が、別の位置（水平方向の画素では、図４（ａ）の色の
右隣の色の画素であったりもする。

【００１７】図４（ａ）、図４（ｂ）、図４（ｃ）から
分かるように画素ずらしを行って同一の画像を取り込ん
だ場合に、ＣＣＤの画素ピッチ間に取り込むように画像
を撮影すると、一般的に、取り込んだ画像の形は、直前
に取り込んだ画像の形と異なっているし、色の配列は、
直前に取り込んだ画像の色の配列とは異なっている。従
って、現在取り込んでいる画像が直前に取り込んだ画像
と比較して、画素ピッチ分ずれているのか、または画素
ピッチの半分位画素ずらしを行ってずれているのか判断
できる。

【００１８】図４（ｄ）、図４（ｅ）では、画像入力装
置が震動等により正常に取り込めなかった例を示してい
る。

【００１９】図４（ｄ）では、ＣＣＤを1/2ピッチ右に
移動させた後、画像を取り込む際に、正常に取り込めな
かった例を示している。１行目の信号（図４（ａ）参
照）は、最初の信号はＧ信号であったので画素ずらしを
行った場合に、Ｇ信号か、または、Ｇ信号の右隣のＢ信
号のはずであるが、反対のＲ信号となっている。従っ
て、この画像の取り込みは正常でないことがわかる。

【００２０】図４（ｅ）では図４（ｄ）と比較すると、
例えば３行目のＢ信号は本来であればＲ信号（図４
（ｂ）参照）のはずであるが、図４（ａ）と同じ信号で
ある。従って、図４（ｅ）は図４（ａ）と図４（ｃ）の
中に、画像が収まっている。つまり、図４（ｅ）の各行
の画素は、図４（ａ）と同じか、又は右隣の色の信号を
取り込んでいるので、図４（ｂ）ほど正確に画像を取り
込めていないけれども、画素を横方向に２倍に増やす画
素ずらしの方法ならば、図４（ｅ）の画像は画素ずらし
を正常に行えた画像として扱っても差し支えない。

【００２１】本願発明では、画素ずらし技術を使用した
画像入力装置において、特に問題となりそうな震動の対
策を上記の現象を利用して行ったものである。例えば、
画素を横又は縦方向に２倍に増やす画素ずらしの方法で
あるならば、１度画像を取り込み、そして画素ずらしを
行って取り込んだ画像が、所定の移動を行って画像を取
り込んでいるかどうかを判断し、もし１ピッチ分以上ず
れていたら、その画像は所定の移動量以上に移動したこ
とになり、画像入力装置自体が震動したと考えられる。
そこで、上記のように１ピッチ分以上ずれていたときに
は単純に合成すると出来上がりの画像が混乱してしまう
ので、１ピッチ分ずれたと判断された画像以降の画像を
合成に使用しないようにして震動の影響を受けないよう
にする。又は、震動を受けたと判断された画像のみを除
いて他の画像を合成して１枚の画像を作成するようにす
る。同様に、画素ずらしの回数を３倍、４倍にしたとし
てもある特定の画素が取り得るべき色の画素でない場
合、一般的には画素ずらしの方向と反対の位置にある色
（図４（ａ）〜（ｅ）の説明では左隣の色）の画素を取
ったときには、その画像は正常に取り込まれたものであ
るから、その画像を取り込まないようにして、それ以前
の画像又は震動を起こした画像以外の他の画像を合成し
て１枚の画像を作成するようにすれば良い。

【００２２】最初の実施例では震動が起きた時に、得ら
れた画像同士で合成しても差し支えない画像かどうかを
判断するようにして震動の対策を行った例を示した。

【００２３】以下の実施例では、震動しても画像合成に
差し支えないように構成した内容である。つまり、カメ
ラ内部に敢えて特別な震動対策装置を設けない構成や、
逆に震動させる部品を設けるようにしたものである。こ
のようにすれば、従来の画素ずらし手段（ガラスやＣＣ
Ｄ）を移動させて止めていたものを移動させるのみでい
いので、制御が容易になる。

【００２４】図４（ａ）の状態で撮影の後、次の画像を
撮像素子の１ピッチ分以下の距離をずらして撮影する訳
であるが、その撮像素子の移動をカメラ自体の震動によ
るようにした、例えば、1/2ピッチ分ずらした画像を取
り込むようにした場合、最初の画像を取り込んだ後、し
ばらくの間（１秒以下の時間）、画像情報を垂れ流し状
態で取り込み、その途中で取り込んだ画像が図４（ｂ）
又は（ｅ）のようにほぼ正しい関係にあると判断された
ときに、第２の画像を正式に取り込み、これを合成して
１つの画像とする。

【００２５】または、最初に画像を取り込んだ後に、カ
メラを積極的に震動させ、その間に画像情報を垂れ流し
状態で取り込み、取り込んだ画像が、図４（ｂ）又は
（ｅ）のようにほぼ正しい関係にあると判断された時
に、第２の画像を正式に取り込み、これを合成して１つ
の画像としてもよい。震動させる方法は、特に定めない
が、例えば圧電素子等を使用してＣＣＤを縦横に止めず
に動かす方法が考えられる。

【００２６】以上のような画像の取り込み方法を、縦方
向及び横方法に行う。また、画素ずらしの数を複数回行
う場合でも、図４（ａ）〜（ｅ）のような方法で、画像
を判別して取り込むようにすれば良い。

【００２７】また、今までの説明は、ＲＧＢのストライ
プを前提としており、色信号のみで判断していいたが、
ストライプフィルタで色信号のみの判断の場合、縦方向
での画素ズラシを行っても判別出来ない。従って、画素
の位置の情報で判別するようにすれば、ストライプタイ
プのものでも、１画素置きに同じ色信号が発生する市松
模様のフィルタでも対応が可能である。

【００２８】今までの説明は、カメラ側が画素ずらしを
行ったり、震動している例を示したが、被写体が原稿の
ような静止物で、その静止物を移動させる様にした画素
ずらしの装置でも同様な方法で採用可能である。

【００２９】図５は、図４で説明したようにズレ量を判
定する手段を持った場合のブロック図である。光学系41
からの光をＣＣＤ等の撮像素子42で光電的変換し、プリ
プロセス回路43を経てＡ／Ｄ変換器44でＡ／Ｄ変換し、
複数のメモリ45に記録する。ＣＣＤ駆動手段は、図示し
ないレリーズからの信号を受けたコントロール手段46の
制御手段に基づいて画像を取り込むようにＣＣＤを駆動
するものである。画素ずらし手段47は、コントロール手
段46からの信号に基づいて所定量だけＣＣＤ42や光学系
41を駆動し、画像ずらしを行い、前回と同じ被写体を撮
像する。画像ずらしの量は、得たい解像度によって決め
られるが、例えば、解像度を９倍にしたいときには、
Ｘ、Ｙ方向各々に1/3ピッチづつずらして９回撮像す
る。そこで、現在撮像した画像が、正常な画像として取
り込むかどうかをずれ量から判断するずれ量判別手段51
が、図４で説明したような判別を行って、その情報をコ
ントロール手段46に送り、その画像が正常に取り込まれ
ているのならば、コントロール手段46から切換手段52に
画像合成をしてよいという許可を与えて、その画像信号
を複数の画像合成用メモリ53に記録し、この複数の画像
を合成手段54で合成する。逆に、その画像が正常に取り
込まれた画像ではないと、ずれ量判別手段51からの信号
に基づいてコントロール手段46が判断した場合、切換手
段52にはその画像以降の記録を行わないように制御する
ことにより、震動の影響を受けても対処可能にする。

【００３０】更に、現在の画像が正常な画素ずらしが行
われたかどうかを判別し、正常に取り込まれと判断され
た画像だけ記録するように、その都度切り換えて画像を
合成するようにすれば、震動が一時的であった場合に、
その画像のみを除去できるので、解像度の減少が少なく
て済む。

【００３１】図６は、図５のような画像のずれ量を見て
震動しているかどうかを判断するのではなく、予めジャ
イロや変位計を使用して、直接的に装置自体の震動を震
動検知手段が測定し、その情報をコントロール手段に送
って、所定量以上の震動を検知したら、撮像に影響を受
けたと判断して、そのとき以降の画像の取り込みを禁止
するように、切換手段をコントロール手段が制御する。
このような構成では、予めどの程度の震動によって画像
の取り込みに影響がでるかの情報を得た上で構成される
が、図５のような画像取り込み毎に画像の判別を行う必
要がなくなるので、信号処理の時間が短縮できる。

【００３２】また、図５で説明したように震動が生じた
ときの画像情報のみを記録しないようにすれば、同様に
解像度の減少は少なくなる。

【００３３】なお、上記実施例は画像情報をＩＣカード
等に記録するデジタルスチルカメラで説明したが、これ
に限るものではなく、パソコン等に画像を入力するため
の所謂スキャナーと呼ばれるようなものにも適用可能で
ある。

【００３４】

【発明の効果】以上詳細に説明したように、本願発明に
よれば、従来数μmオーダーで高精度が要求される画像
ズラシを行う画像入力装置において、震動対策として装
置を固定化したり、大型にする必要がなく、画像入力装
置が震動しても正常に画像を取り組むことができる。

【００３５】また、常時震動させたり、震動しても画像
判別を行って良否を判断して取り込むようにすれば、例
えば画像をずらす手段（ガラスやＣＣＤ）を移動させて
止めるように制御していたものが、本願の実施例によれ
ば、移動させるのみで止める必要がなくなるので、制御
が簡単になるという効果がある。

【図面の簡単な説明】

【図１】本願発明をデジタルスチルカメラに適用したブ
ロック図である。

【図２】プリプロセス回路のブロック図である。

【図３】ビデオエンコーダのブロック図である。

【図４】撮像素子を移動したときの図である。

【図５】ずれ量を判別する手段を有するブロック図であ
る。

【図６】震動検知手段を有するブロック図である。

【符号の説明】

41 光学系 42 ＣＣＤ 46 コントロール手段 47 画像ずらし手段 51 ずれ量判別手段 54 合成手段

Claims (6)

【特許請求の範囲】
1. 【請求項１】 被写体からの光を結像させる光学系と、
   前記光学系からの光を受けて電気信号に変換する光電変
   換手段と、前記光学系によって結像される画像位置を相
   対的に移動させて、画素ずらしを行う画素ずらし手段と
   を有し、被写体を撮像するとき前記画素ずらし手段を駆
   動させ、同一被写体を複数回撮像して合成する画像入力
   装置において、前記画像入力装置における所定の震動を
   検知する震動検知手段と、前記震動検知手段が震動を検
   知したときに、撮像を禁止する禁止手段を備えたことを
   特徴とする画像入力装置。
2. 【請求項２】 前記震動検知手段が震動を検知したとき
   迄に撮像した画像を合成する画像合成手段を備えたこと
   を特徴とする請求項１に記載の画像入力装置。
3. 【請求項３】 前記震動検知手段が、前記画素ずらし手
   段が駆動されて撮像を行ったときに、前回までの画像デ
   ータと今回取り込んだ画像を比較して、所定量を越えな
   いずれと判断されるかどうかによって判断する手段であ
   ることを特徴とする請求項１又は請求項２に記載の画像
   入力装置。
4. 【請求項４】 前記震動検知手段の所定量の画素のずれ
   が、画素間のピッチ以下であることを特徴とする請求項
   ３に記載の画像入力装置。
5. 【請求項５】 被写体からの光を結像させる光学系と、
   前記光学系からの光を受けて電気信号に変換する光電変
   換手段と、前記光学系によって結像される画像位置を相
   対的に移動させて、画素ずらしを行う画素ずらし手段と
   を有し、被写体を撮像するとき前記画素ずらし手段を駆
   動させ、同一被写体を複数回撮像して合成する画像入力
   装置において、前記画素ずらし手段が駆動されて撮像を
   行ったときに、前回までの画像データと今回取り込んだ
   画像を比較して、所定量の画素がずれているかどうかを
   判断する画像判断手段と、前記画像判断手段により今回
   取り込んだ画像の画素のずれが所定の量を越えないずれ
   と判断されたとき、その画像を取り込み、取り込んだ画
   像を合成する画像合成手段とを備えたことを特徴とする
   画像入力装置。
6. 【請求項６】 前記画像判断手段における所定量の画素
   のずれが画素間のピッチであることを特徴とする請求項
   ５に記載の画像入力装置。