JP3695119B2 - 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 - Google Patents
画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3695119B2 JP3695119B2 JP05310098A JP5310098A JP3695119B2 JP 3695119 B2 JP3695119 B2 JP 3695119B2 JP 05310098 A JP05310098 A JP 05310098A JP 5310098 A JP5310098 A JP 5310098A JP 3695119 B2 JP3695119 B2 JP 3695119B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom
- projection
- projection distribution
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、広角かつ解像度の高い静止画を得ることが可能なデジタルカメラに係り、特にカメラのズーミング操作によって撮影された映像から、広角かつ高解像度の静止画を得ることが可能な超解像カメラに関する。
【０００２】
【従来の技術】
近年、情報収集ツールとして、多種類のデジタルカメラが販売されている。技術的には携帯重視、機能重視、画質重視の観点から様々な工夫が施されている。撮影した画像はデジタル画像であるため、直接的にコンピュータに入力して、送信したり、インターネットのホームページに掲載したり、プリントしたりするのが簡単にできる。このため、デジタルカメラは急速に普及し続けている。
【０００３】
しかしながら、現在のデジタルカメラは画質が従来の銀塩カメラに比べ、大幅に劣る。現状の平均的なデジタルカメラの解像度、すなわち３２０画素×２４０画素程度では、視野角を大きくして撮影すると、画像の内容把握に支障をきたす場合がある。そのため、広角で撮影しても高解像度の静止画を得るデジタルカメラの出現が望まれる。
【０００４】
従来、複数の画像を用いて解像度の高い画像を得る方法として、LaureTedosic他の“Salliant Video Still : Content and Context Preserved”（ACM Multimedia 93 pp.39-46）がある。これはカメラ操作のモデルとしてアフィン変換を想定し、６つのパラメータを連続する画像間の局所的な動きベクトル群から算出し、複数の画像から１枚の広角で高解像度な画像を合成する。
【０００５】
また、動画像の符号化分野ではスプライトと呼ぶ広い視野の静止画を生成する方法として、秦泉寺他の「スプライト生成におけるアライメントに関する一考察」（電子情報通信学会 信学技法 IE97-81(1997)）pp.19-24がある。これはカメラ操作のモデルとして、ヘルマート変換を想定し、カメラのパン、チルト、ズーム、ローテートパラメータを求めて、複数の画像から１枚の広視野の画像を合成する。各パラメータは、前述の方法と同様に連続する画像間の局所的な動きベクトル群から算出する。
【０００６】
【発明が解決しようとする課題】
従来技術で広角で高解像度の静止画を生成する手法は、いずれも、連続する画像間の局所的な動きベクトルを求める必要がある。動きベクトルを求めるためには、画像中の数百箇所以上で、１６画素×１６画素程度のサイズのブロックマッチングによる探索処理が必要となるため、計算量が膨大になるという問題がある。また、局所的な動きベクトルに基づきカメラワークパラメータを推定するため、画面中に動く物体が存在すると誤差の要因になりやすいという問題もある。したがって、従来の方式をデジタルカメラに適用して、高解像度の画像を生成するのは困難であった。従来技術では、カメラワークパラメータ検出のリアルタイム化や一般的な映像を対象とした時の検出性能のロバスト化などが実用上の課題として残っている。
【０００７】
本発明が解決しようとする課題は、広い視野角でかつ高い分解能で撮影したのと同様の広角・高解像度の静止画を、低コスト、ロバストかつリアルタイムに生成するカメラを提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、任意の情景を動画として撮影する撮像系と、動画の録画開始から終了までの指示を受ける操作入力手段と、ディスプレイとを有するカメラにおいて、撮像系で撮影された動画を構成する画像列に含まれる画像間でのズーム率を検出するズーム率検出手段を備え、ディスプレイには、ズーム率検出手段により検出したズーム率に応じて、画像列の画像を逐次拡大または縮小して上書き合成した高解像度画像が表示されるようにする。
【０００９】
【発明の実施の形態】
以下、本発明の一実施例を詳細に説明する。
【００１０】
図１は、本発明を実現するための超解像カメラのシステム構成図の一例である。本システム構成は、現在汎用的に用いられているデジタルコンピュータ、特にノート型パソコンのシステム構成に、撮影のためのレンズをはじめとする光学系１００や撮影した映像を圧縮伸張するためのデバイス１０４と１０６、映像を外部に出力するためのアナログ出力１２４などを備えたものに相当する。このシステム構成を１つの筺体にコンパクトにまとめた実施態様を図２に示す。
【００１１】
光学系１００は、撮影しようとする風景や人物などが撮像素子に正しく焦点を結ぶように調節する。この光学系には、ズームアップ撮影を行うための倍率調整機構も含まれる。どれだけのズーム倍率に設定したかなどの操作情報は、ＣＰＵ１１２にも伝えられる。ファインダ１０１は光学的に像を表示する。撮像素子１０２は、光電変換を行って撮影対象を電気的な信号に変える。画像圧縮エンコーダ１０４は、撮像素子１０２で得られた電気信号を一枚の画像として取り込み、ＭＰＥＧに代表される画像圧縮方法を用いてデータ量を削減するとともに、補助記憶装置１１０に格納する。こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、連続的な動画として補助記憶装置に格納できる。静止画が必要な場合は、シャッターが押された瞬間の画像を１枚だけ格納するようにすればよい。
【００１２】
音声は、マイク１２６とＡ／Ｄコンバータ１２８によって取り込み、動画と対応づけて補助記憶装置１１０に格納することができる。補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。例えば、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体から着脱できるタイプの記録装置または、光磁気ディスク等のように記録媒体のみを着脱できるタイプの記録装置として構成できる。ＣＰＵ１１２は、録画処理をスタート／ストップするなどの制御をはじめ、本発明で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラムはメモリ１１４に常駐し、プログラムの実行に必要となる各種の変数の値やデータ類も必要に応じて格納される。
【００１３】
ビデオメモリ１１６は、ディスプレイ１２０に表示される画像をデジタルデータとして格納している。Ｄ／Ａコンバータ１１８は、一般にＲＡＭＤＡＣと呼ばれている種類のＤ／Ａコンバータであり、ビデオメモリ１１６に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ１２０に描画する。この種類のＤ／Ａコンバータは、ビデオメモリ１１６のデータを更新すると、その更新内容がディスプレイ１２０の表示内容に直ちに反映される。また、画像圧縮エンコーダ１０４に入力される撮影中の画像を、画像圧縮機能をバイパスして、ビデオメモリ１１６に直接書き込むことも可能である。ディスプレイ１２０は、画像を表示するためのデバイスであり、小型のＣＲＴやプラズマディスプレイであっても良く、液晶タイプの表示デバイスであっても良い。画像伸張デコーダ１０６は、補助記憶装置１１０に格納された圧縮された動画データを伸張し、画像としてビデオメモリ１１６上に展開する。
【００１４】
アナログ出力１２４は、伸張した画像を、ＮＴＳＣ方式をはじめとする、テレビ受像機に広く用いられているアナログ映像信号に変換して出力する。この出力を現在広く普及しているＶＨＳ方式などのビデオ機器に接続して記録することができる。また、音声も記録されている場合には、画像の伸張に同期させて、音声用Ｄ／Ａコンバータ１３２とスピーカー１３０によって音声出力することもできる。入力Ｉ／Ｆ１２３は、録画ボタンや再生ボタンなどのスイッチ類や、ディスプレイ１２０の表示面に貼られた透明なタッチパネルといった情報入力デバイスである。入力された情報はＣＰＵ１１２に伝えられ、適宜処理される。バス１０８は、以上の各デバイス間を相互につなぐデータバスである。
【００１５】
本発明のデジタルカメラは、撮像した画像系列をズームイン、ズームアウトのカメラ操作に応じて画像を合成する。メモリ１１４内に格納されたカメラ制御プログラムは、撮影区間の間、撮像された画像をメモリに取り込みながら画像をズーム率に合わせてスケーリングして合成し、逐次ビデオメモリ１１６に転送し、ディスプレイ１２０に超解像画像１２２を表示する。撮影が終了すると、超解像画像は補助記憶装置１１０に、画像データ構造体１１０−１として格納される。映像のヘッダー情報１１０−１−１は、画像圧縮の方式、画像の縦横のサイズといった伸張に必要な情報が含まれる。また、連続する画像間のズーム率も必要な情報として含んでもよい。有効フラグ１１０−１−２は、その画像が有効か無効かを示すフラグであり、簡易な画像編集の際に用いられる。画像データ量１１０−１−３は、このあとに続く画像データ１１０−１−４が何バイトあるのかを示す。これにより、画像の種類によって画像圧縮されたり、超解像画像のサイズが変化しても、画像データがどこに記録されているかが計算できる。
【００１６】
図２は、超解像カメラの外観ならびに画面表示の一実施例である。カメラ本体２００は、大きく光学系（レンズ部を含む）１００、ファインダ１０１、平面ディスプレイ１２０と操作ボタン類２０１〜２０５などから構成される。光学系１００で撮られた映像は、ファインダ１０１で確認できるとともに、ディスプレイ１２０には、そのままの画像、または画像を合成して得た超解像画像が表示され、撮像内容が確認できるようになっている。操作スイッチ２０１はズームを行うためのものである。操作スイッチ２０１は、シーソースイッチになっていて、一方に倒すと連続的にズームインされた望遠撮影になり、もう一方に倒すと逆にズームアウトした広角撮影になる。録画は、録画ボタン２０２を押すことででき、一度押すと録画が開始され、録画中にもう一度押すと録画が終了する。録画区間中にユーザが広角や望遠によって風景を撮影したときは、各画像列をスケーリングしながら合成した超解像画像をリアルタイムで作成し、ディスプレイ１２０上へ表示する。これにより画像の合成状況が即座に確認でき、撮影者の意図した超解像画像が確実に作成できる。もちろん、取り込んだ動画を一度、補助記憶装置１１０に記憶しておき、別途補助記憶装置から動画のクリップを読み出し、超解像画像を作成することもできる。
【００１７】
ここでボタン操作によって、格納された画像のプレイバックを指示すると、画面１２０に一覧表や個別の画像が表示される。ここで挙げたカメラの構成例では、２０３と２０４は汎用ボタンであり、カメラの各種の動作の決定に汎用的に用いられる。また、２０５はスクロールボタンで、撮影した多数の超解像画像を選択したり、ディスプレイ１２０上に表示しきれない超解像画像をスクロールするのに利用する。
【００１８】
録画された画像はアナログ出力１２４を介して、テレビ受像機に広く用いられているアナログ映像信号に変換して出力できる。また、コンピュータインタフェース２０６を介して、録画データを一般のコンピュータへ転送できる。このことにより本発明の超解像カメラが、情報取得ツールとしても利用可能となる。
【００１９】
図３は広角で高い解像度の静止画を作成する過程の説明図であり、図４を併用して説明する。録画ボタンが押されてから再度押されるまでの画像列が１２１である。カメラをズームアウトした広角の状態から中心の対象物にズームインしながら撮影すると、画像列１２１が得られる。図３の例では、録画開始時点では「全景」が映り、録画終了時点では「ヘリコプター」が映る。その間の画像は少しスケールが大きくなりながら変化する。ただし、この間の変化率は一定ではなく、ユーザのズーム操作の停止等により、画像スケールの変化率は変動しうる。このような状況下でも、画像間のズーム率に追従して画像列を適宜スケーリングして、全景も映った状態で、なおかつ目的とする対象物の詳細も識別できる高解像度の画像を合成し、超解像画像１２２を得る。そのため、図４に示すように、時間的に隣接した画像１２１−１、１２１−２との間で画像特徴量に基づく照合を行い、画像間のズーム率を求める（４００）。求めたズーム率に応じて、最新の画像をスケーリングし、超解像画像１２２−１に上書きする（４１０）。このような処理を録画中の全ての画像間で実行すると、超解像画像１２２が得られる。
【００２０】
なお、ズームイン操作で撮影した時の超解像画像生成過程を示したが、ズームアウト操作で撮影した場合も同様である。その場合は最新の画像をスケーリングして、超解像画像１２２−１に上書きする際、前画像からはみ出した領域に限定して上書きすれば良い（４１０）。ここで、画像のスケーリングは単純にスケールに応じて拡大または縮小する方式でよいが、このとき、周囲の４つの画素を参照して線形補間する方式を適用しても良い。線形補間する方式では、演算量が４倍に増える問題はあるが、超解像画像を拡大表示した時、画像のギザギザを目立たなくすることができる。
【００２１】
生成する超解像画像をリアルタイムに表示させる場合には、録画開始時のレンズ倍率に従って、録画開始時の第１枚目の画像をどのサイズでディスプレイに表示するかを予め設定しておくことが望ましい。ズームアウトしきった状態からズームインしながら撮影する場合、最初の１枚目の画像は十分大きなサイズで表示しても問題はないが、ズームインしきった状態からズームアウトしながら撮影する場合は、第１枚目の画像はズームアウト時しきった状態になってもディスプレィの画面からはみ出さない大きさで表示される必要がある。
【００２２】
図５にズーム率を検出する原理を示す。
【００２３】
まず、時刻Tiの画像１２１−１の水平投影分布５００および垂直投影分布５０１を作成する。水平投影分布５００は入力画像の各画素の輝度の値を水平方向に加算した結果を、画像の幅（ｗ）で正規化して作成する。一方、垂直投影分布５０１は入力画像の各画素の輝度の値を垂直方向に加算した結果を画像の高さ（Ｈ）で正規化して作成する。時刻Ti+1の画像１２１−２についても同様にして、水平投影分布５０２および垂直投影分布５０３を作成する。なお、輝度値に変えてＲＧＢのいずれかのスペクトルの強さやエッジ（変化点）の強度を使用してもよい。画像の特徴を示す値である限り、種々のパラメータを使用することができる。
【００２４】
次に、垂直投影分布（５０１、５０３）の照合によりズーム率を予測する。ズーム率の予測には前方予測（Ti→Ti+1）と後方予測（Ti+1→Ti）を行い、前方予測結果と後方予測結果のうち誤差の少ない方を垂直投影分布によるズーム率検出結果とする。前方予測では、時刻Tiの画像１２１−１の垂直投影分布５００から、複数の仮のズーム率を設定して、それらのズーム率での垂直投影分布（仮の垂直投影分布）を生成する。そして生成した仮の垂直投影分布と時刻Ti+1の画像１２１−２の垂直投影分布５０１とを照合する。仮のズーム率は、連続する画像間でのズーム率はその変動範囲が限られるため、想定される範囲で仮のズーム率を逐次設定し、照合の結果、誤差が最小となるときの仮のズーム率を垂直投影分布によるズーム率予測結果とする。ここで、「ズーム率」とは画像中の対象物（視野）の大きさが、前の画像に対して後の画像がどれだけ大きくなったかを表す比率のことと定義する。
【００２５】
図６に仮のズーム率を設定して、仮の投影分布を生成し、照合する様子を示す。仮の投影分布はもとの投影分布を１次元の投影軸方向にスケーリングすることにより生成する。また２つの投影分布間の照合における照合誤差として、各要素間での差分の絶対値の総和を利用する。これ以外にも、平均２乗誤差を利用しても良い。ズームの予測時に、このような（画像を直接スケーリングして照合するのではなく）画像の投影分布をスケーリングしての照合を行うことにより大幅な計算量の削減が達成される。その結果、100MIPS程度のＣＰＵ性能があれば、この処理は１秒間に３０回以上可能であり、ビデオレートのリアルタイム処理が実現できる。
【００２６】
このように、前方予測と後方予測の両方を行うのは、精度の高いズーム率検出を達成するためである。ズームアウト方向の予測精度は、ズームアウトすることによる新たな領域の画像部分が生じるため、照合結果が劣化する。両方の予測を行うことによって、前方予測もしくは後方予測のいずれか一方が見かけ上、ズームイン操作の画像列のごとく取り扱えるため、高い精度の予測、ユーザの任意のズーム操作に対して安定した精度での予測が行える。同様にして水平投影分布間の照合を行い、水平投影分布によるズーム率が予測される。
【００２７】
そして両者の予測したズーム率をそれぞれ３つに分類して、両者の分類が一致するかどうかを調べる。ズーム率が1.0であればスティル、ズーム率が1.0より大きければズームイン、ズーム率が1.0未満であればズームアウトである。もし、分類結果が不一致であれば、強制的にズーム率を1.0とし、ズーム操作は行われなかったと判定する。分類結果が一致すれば、照合誤差の小さい方のズーム率を、隣接する画像間のズーム率として採用する。
【００２８】
このように、垂直投影分布と水平投影分布の両方のズーム率の分類が一致することをズーム率検出の条件としたのは水平方向または垂直方向だけの対象物の移動によって、誤ってズームと判定しないようにするためである。例えば、両開きのドアが開閉した場合を撮影したような映像では、垂直投影分布からのズーム予測は「開」の場合ズームイン、「閉」の場合ズームアウトと判定される。しかし、水平投影分布からのズーム予測はスティルと判定されるため、このような状況でもスティルと正しく判定できる。
【００２９】
図８に本発明のカメラ制御プログラム１１４−１の一実施例として、録画中の超解像画像の生成処理を中心にフローチャートで示す。高解像画像の生成処理のほかにも、既存のデジタルカメラでの方式に従い、蓄積した画像の編集、検索、通信等の処理もできるのはもちろんである。カメラ制御プログラム１１４−１は図９に示す制御データ１１４−２を参照して、実行される。
【００３０】
ステップ８００は初期化処理であり、変数statusを０にリセットする。カメラの電源が入っている間（ステップ８０２）、以下の超解像画像生成処理を行う。まず、ステップ８０４で録画ボタン２０２が押されたかどうかをチェックする。
【００３１】
もしstatusが０で録画ボタンが押された場合は、録画開始処理８０８を実行する。ここでは、カメラのディスプレイ１２０に表示されていた以前の超解像画像を消去し、新しい超解像画像表示に備える。すなわち、SUPER_RESOLUTION_IMAGE_BUF（超解像画像バッファ）１１４−２−２（図９）を初期化する。次に、ステップ８１０で変数statusに１をセットし、録画状態とする。
【００３２】
一方、変数statusが１で録画ボタンが押された場合は、録画終了処理８１２を実行する。ここでは、録画中に作成した超解像画像の、ヘッダー情報や画像データ量および超解像画像を画像データ構造体１１０−１の所定の場所に書き込む。次に、ステップ８１４で変数statusを０にリセットし、録画停止状態とする。
【００３３】
ステップ８２０ではstatusが１かどうかチェックし、もし１であれば以下の処理を行う。ステップ８２２では撮像素子１０２、画像圧縮エンコーダ１０４を介して、画像を入力し、メモリ１１４上のIMAGE_BUF（画像バッファ）１１４−２−１に記憶し、フレーム番号を１つ更新する。次に、ステップ８２４において、IMAGE_BUF１１４−２−１に記憶された入力画像から垂直および水平方向の投影分布を計算する。以上の投影分布は、それぞれ、図９のX_PROJ_CURRENT（現在フレームの垂直投影分布配列）１１４−２−４およびY_PROJ_CURRENT（現在フレームの水平投影分布配列）１１４−２−６に格納される。この投影分布は次のフレームの入力まで保存されており、次のフレームの入力時に、それぞれ、X_PROJ_LAST（前フレームの垂直投影分布配列）１１４−２−３およびY_PROJ_LAST（前フレームの水平投影分布配列）１１４−２−５に移動させられる。さらに次のフレーム入力時には破棄される。
【００３４】
ステップ８２６では、一つ前のフレームの投影分布と現在のフレームの投影分布とを照合してズーム率を検出する。この処理の詳細は図１０を参照して後述する。ステップ８２８では、検出したズーム率に応じて、入力した画像をスケーリングし、SUPER_RESOLUTION_IMAGE_BUF１１４−２−２に上書きする。ステップ８３０でSUPER_RESOLUTION_IMAGE_BUF１１４−２−２の画像をビデオメモリ１１６に転送し、デイスプレイ１２０に超解像画像を表示する。この転送の際、ディスプレイの解像度にあわせて、SUPER_RESOLUTION_IMAGE_BUF１１４−２−２の内容を間引いて表示することもできる。解像度の高いディスプレイは一般にコスト高となるため、より解像度の低いディスプレイに対応する構成である。SUPER_RESOLUTION_IMAGE_BUF１１４−２−２の内容をそのまま保存しておくことにより、必要に応じて別の表示装置を介して高精細な表示や印刷が可能になる。
【００３５】
次に、本発明の超解像画像作成のための画像間のズーム率検出の一実施例を図１０を用いて説明する。
【００３６】
ステップ１０００では垂直投影分布からズーム率を検出して変数zoom_xに値をセットする。この処理の詳細は後で図１１を用いて説明する。次にステップ１１００で水平投影分布からズーム率を検出して変数zoom_yに値をセットする。
【００３７】
ステップ１２００では、両者の予測したズーム率を３つに分類して、分類結果が一致するかどうかを調べる。まず、どちらの分類結果もズームインであることを確認するための判定条件として、zoom_x、zoom_yが共に1.001より大きいことをチェックする。0.001が加算されているのは、スティル状態を誤ってズームとしないための許容誤差を与えたものである。画像のサイズやカメラ操作の速さなどに応じて許容誤差を与え、これにより対象物の移動等による画像変動によって生じる誤った判定が抑止される。次に、どちらの分類結果もズームアウトであることを確認するための判定条件として、zoom_x、zoom_yが共に0.999より小さいことをチェックする。上記いずれでもない場合はスティルと判定する。
【００３８】
ズームアウトまたはズームインと判定された場合は、zoom_xを検出したときの照合誤差minval_xとzoom_yを検出したときの照合誤差minval_yとを比較し、小さい方のズーム率を画像間のズーム率を示す変数zoomに設定する。これらはステップ１２０１から１２０６で行う。またスティルの場合、ステップ１２０７で変数zoomに1.0を設定する。
【００３９】
図１１は垂直投影分布からズーム率を検出する処理の詳細であり、図１２は水平投影分布からズーム率を検出する処理の詳細である。両者は水平投影分布から検出するか、垂直投影分布から検出するかの違いがあるだけで、処理内容は同じである。そこで、図１１について詳細に説明する。
【００４０】
ステップ１００１では前方予測時の照合誤差を記憶する変数minval_f_xを十分大きな値に設定する。ステップ１００２では、連続する画像間のズーム率はその変動範囲が限られるので、想定される範囲を変数iに設定する。この例では、視野のサイズが−１０画素から＋１０画素までの変動を想定している。
【００４１】
ステップ１００３では、X_PROJ_LAST１１４−２−３に格納された前フレームの投影分布から、視野のサイズがｉ画素分変動したときの投影分布を生成し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２−７に格納する。仮の投影分布の生成はもとの投影分布を１次元の投影軸の方向にスケーリングするだけであるので高速に計算できる。次に、X_PROJ_CURRENT１１４−２−６に格納された現在フレームの投影分布とX_PROJ_WORK１１４−２−７に格納された仮の投影分布との照合を行い、その時の照合誤差を変数ERRORに格納する。ステップ１００５でERRORとminval_f_xとの値を比較し、ERRORの方が小さいとき、そのときの変数iをmin_f_dxに代入するとともに、minval_f_xにERRORの値を代入する（ステップ１００６）。以上の処理を繰り返すことによって、変数min_f_dxには最もよく照合がとれた時のi、及びそのときの照合誤差（minval_f_x）が求まる。
【００４２】
ステップ１００７では、上記の変数min_f_dxの値を利用して、前方予測のズーム率を計算し、変数zoom_f_xに格納する。画像の幅をｗとすると、ズーム率は(ｗ＋min_f_dx) / wで計算できる。
【００４３】
同様に、ステップ１０１１で後方予測時の照合誤差を記憶する変数minval_b_xを十分大きな値に設定し、ステップ１０１２で想定される変動範囲を変数iに設定する。
【００４４】
ステップ１０１３では、X_PROJ_CURRENT１１４−２−４に格納された現フレームの投影分布から、視野のサイズがｉ画素分変動したときの投影分布を生成し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２−７に格納する。次にX_PROJ_LAST１１４−２−３に格納された前フレームの投影分布とX_PROJ_WORK１１４−２−７に格納された仮の投影分布との照合を行い、その時の照合誤差を変数ERRORに格納する。ステップ１０１５でERRORとminval_b_xとの値を比較し、ERRORの方が小さいとき、そのときの変数iをmin_b_dxに代入するとともに、minval_f_xにERRORの値を代入する（ステップ１０１６）。以上の処理を繰り返すことによって、変数min_b_dxには最もよく照合がとれた時のi、及びそのときの照合誤差（minval_b_x）が求まる。
【００４５】
ステップ１０２０では、上記の変数min_b_dxの値を利用して、後方予測のズーム率を計算し、変数zoom_b_xに格納する。ズーム率はw / (ｗ＋min_b_dx)で計算できる。
【００４６】
ステップ１０２１から１０２４では、照合誤差が一定の閾値よりも大きい場合はズーム検出の信頼性が悪いと判定し、zoom_f_xおよびzoom_b_xとを1.0に置き換える。
【００４７】
ステップ１０２５では、minval_f_xとminval_b_xとの値を比較し、ステップ１０２６またはステップ１０２７で、値の小さい方のズーム予測値を変数zoom_xに格納するとともにその時の照合誤差を変数minval_xに格納する。このzoom_xが垂直投影分布からのズーム検出結果となる。
【００４８】
図７は、ユーザのカメラ操作をディスプレイに表示するユーザインタフェース（画面表示）の一例である。垂直投影分布７００および水平投影分布７０１を、横軸に撮影時間、縦軸に投影位置として、時間推移で表示する。これは、図５に示される垂直投影分布５０１および水平投影分布５００の各配列の値を濃淡の階調に変換し、各フレームにつき縦に１ライン表示することにより得られる。図７に示されるパターンはカメラ操作がズームアウトした状態から撮影を開始して、ズームインしていったときの投影分布を時系列に並べた推移の例である。このような表示をディスプレィ１２０上に超解像画像と並べて表示することで、カメラ操作の時間的な状況がさらにユーザに理解しやすくなる。異なるカメラワークであれば異なったパターンが表れる。例えば、スティルであれば横軸に平行なパターンが、パンであれば横軸に一定の角度をもって傾斜したパターンが表れる。
【００４９】
なお、本実施態様ではズームイン、ズームアウトのカメラ操作を利用して、画面の中心になるほど高解像度の画像になる超高解像カメラを提供したが、カメラのパンやチルトの操作を併用することで画面の中心だけでなく着目する領域を狙って高解像の画像を生成することも可能である。例えば、図３のようにズームインした後にパン操作を行った場合、パン操作により得られる画像を時刻Teの画像に接続して上書きすることにより、より広い着目領域についての高解像画像を生成できる。
【００５０】
さらに、ズーム操作とともにパン操作を行った場合であっても、高解像の画像は生成可能である。この場合には、ズーム率の予測に加えて位置ずれの予測を行って超解像画像を生成する。
【００５１】
また、本実施の態様としては、図２に示すような一つの筺体に作りこまれたものに限られない。パーソナルコンピュータのようなデジタルコンピュータに、動画が撮影可能なビデオカメラを接続し、ビデオカメラから取り込んだ画像に対して以上のような処理を行い、ディジタルコンピュータのディスプレイ上に高解像画像を表示することが可能であることももちろんである。この場合、カメラ制御プログラム１１４−１に相当する超解像画像生成プログラムを記憶した磁気ディスク、光ディスク等の記録媒体あるいはディジタルコンピュータが接続されたネットワークを通じてディジタルコンピュータに供給され、ディジタルコンピュータは記録媒体より超解像画像生成プログラムをそのメインメモリに読み込む。このように、ディスプレイが撮像素子の解像度よりも高解像度である限りにおいて、本発明は種々変形した実施態様により実施される。
【００５２】
【発明の効果】
本発明によれば、広い視野角で、かつ注目する領域については高い分解能で撮影したのと同様の広角・高解像度の静止画を、低コストに、ロバストに、かつリアルタイムに生成できる超解像カメラが実現できる。さらに、超解像画像の作成状況はディスプレイ上で刻々と確認できるため、撮影の失敗を未然に防止できる。また、画像はコンピュータへ転送することができ、高精細プリンタや高精細ディスプレイにより高精細な画像として見ることが可能である。
【図面の簡単な説明】
【図１】本発明を実現するためのシステム構成図の一例である。
【図２】本発明の超解像カメラの外観を表す図の一例である。
【図３】超解像画像の作成過程の概念図である。
【図４】２枚の画像の合成例である。
【図５】本発明のズーム率自動検出原理を示す図である。
【図６】仮の投影分布と基準の投影分布との照合を示す図である。
【図７】投影分布の時空間画像の表示の一例である。
【図８】カメラ制御プログラムのフローチャートの一例である。
【図９】超解像画像生成のための制御データのデータ構造の一例である。
【図１０】超解像画像作成のための画像間のズーム率検出の一実施例である。
【図１１】垂直投影分布からズーム率を検出する処理のフローチャートの一例である。
【図１２】水平投影分布からズーム率を検出する処理のフローチャートの一例である。
【符号の説明】
１００…光学系、１０１…ファインダ、１０２…撮像素子、１０４…画像圧縮エンコーダ、１０６…画像伸張デコーダ、１０８…バス、１１０…補助記憶装置、１１２…ＣＰＵ、１１４…メモリ、１１６…ビデオメモリ、１１８…Ｄ／Ａコンバータ、１２０…ディスプレイ、１２２…超解像画像、１２３…入力Ｉ／Ｆ、１２４…アナログ出力、１２６…マイク、１３０…スピーカ。
【発明の属する技術分野】
本発明は、広角かつ解像度の高い静止画を得ることが可能なデジタルカメラに係り、特にカメラのズーミング操作によって撮影された映像から、広角かつ高解像度の静止画を得ることが可能な超解像カメラに関する。
【０００２】
【従来の技術】
近年、情報収集ツールとして、多種類のデジタルカメラが販売されている。技術的には携帯重視、機能重視、画質重視の観点から様々な工夫が施されている。撮影した画像はデジタル画像であるため、直接的にコンピュータに入力して、送信したり、インターネットのホームページに掲載したり、プリントしたりするのが簡単にできる。このため、デジタルカメラは急速に普及し続けている。
【０００３】
しかしながら、現在のデジタルカメラは画質が従来の銀塩カメラに比べ、大幅に劣る。現状の平均的なデジタルカメラの解像度、すなわち３２０画素×２４０画素程度では、視野角を大きくして撮影すると、画像の内容把握に支障をきたす場合がある。そのため、広角で撮影しても高解像度の静止画を得るデジタルカメラの出現が望まれる。
【０００４】
従来、複数の画像を用いて解像度の高い画像を得る方法として、LaureTedosic他の“Salliant Video Still : Content and Context Preserved”（ACM Multimedia 93 pp.39-46）がある。これはカメラ操作のモデルとしてアフィン変換を想定し、６つのパラメータを連続する画像間の局所的な動きベクトル群から算出し、複数の画像から１枚の広角で高解像度な画像を合成する。
【０００５】
また、動画像の符号化分野ではスプライトと呼ぶ広い視野の静止画を生成する方法として、秦泉寺他の「スプライト生成におけるアライメントに関する一考察」（電子情報通信学会 信学技法 IE97-81(1997)）pp.19-24がある。これはカメラ操作のモデルとして、ヘルマート変換を想定し、カメラのパン、チルト、ズーム、ローテートパラメータを求めて、複数の画像から１枚の広視野の画像を合成する。各パラメータは、前述の方法と同様に連続する画像間の局所的な動きベクトル群から算出する。
【０００６】
【発明が解決しようとする課題】
従来技術で広角で高解像度の静止画を生成する手法は、いずれも、連続する画像間の局所的な動きベクトルを求める必要がある。動きベクトルを求めるためには、画像中の数百箇所以上で、１６画素×１６画素程度のサイズのブロックマッチングによる探索処理が必要となるため、計算量が膨大になるという問題がある。また、局所的な動きベクトルに基づきカメラワークパラメータを推定するため、画面中に動く物体が存在すると誤差の要因になりやすいという問題もある。したがって、従来の方式をデジタルカメラに適用して、高解像度の画像を生成するのは困難であった。従来技術では、カメラワークパラメータ検出のリアルタイム化や一般的な映像を対象とした時の検出性能のロバスト化などが実用上の課題として残っている。
【０００７】
本発明が解決しようとする課題は、広い視野角でかつ高い分解能で撮影したのと同様の広角・高解像度の静止画を、低コスト、ロバストかつリアルタイムに生成するカメラを提供することにある。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、任意の情景を動画として撮影する撮像系と、動画の録画開始から終了までの指示を受ける操作入力手段と、ディスプレイとを有するカメラにおいて、撮像系で撮影された動画を構成する画像列に含まれる画像間でのズーム率を検出するズーム率検出手段を備え、ディスプレイには、ズーム率検出手段により検出したズーム率に応じて、画像列の画像を逐次拡大または縮小して上書き合成した高解像度画像が表示されるようにする。
【０００９】
【発明の実施の形態】
以下、本発明の一実施例を詳細に説明する。
【００１０】
図１は、本発明を実現するための超解像カメラのシステム構成図の一例である。本システム構成は、現在汎用的に用いられているデジタルコンピュータ、特にノート型パソコンのシステム構成に、撮影のためのレンズをはじめとする光学系１００や撮影した映像を圧縮伸張するためのデバイス１０４と１０６、映像を外部に出力するためのアナログ出力１２４などを備えたものに相当する。このシステム構成を１つの筺体にコンパクトにまとめた実施態様を図２に示す。
【００１１】
光学系１００は、撮影しようとする風景や人物などが撮像素子に正しく焦点を結ぶように調節する。この光学系には、ズームアップ撮影を行うための倍率調整機構も含まれる。どれだけのズーム倍率に設定したかなどの操作情報は、ＣＰＵ１１２にも伝えられる。ファインダ１０１は光学的に像を表示する。撮像素子１０２は、光電変換を行って撮影対象を電気的な信号に変える。画像圧縮エンコーダ１０４は、撮像素子１０２で得られた電気信号を一枚の画像として取り込み、ＭＰＥＧに代表される画像圧縮方法を用いてデータ量を削減するとともに、補助記憶装置１１０に格納する。こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、連続的な動画として補助記憶装置に格納できる。静止画が必要な場合は、シャッターが押された瞬間の画像を１枚だけ格納するようにすればよい。
【００１２】
音声は、マイク１２６とＡ／Ｄコンバータ１２８によって取り込み、動画と対応づけて補助記憶装置１１０に格納することができる。補助記憶装置１１０は、ハードディスク等の大容量記録装置であり、デジタルデータを半永久的に記録するための装置である。例えば、ＰＣＭＣＩＡ方式のハードディスクカードのように記憶装置ごと本体から着脱できるタイプの記録装置または、光磁気ディスク等のように記録媒体のみを着脱できるタイプの記録装置として構成できる。ＣＰＵ１１２は、録画処理をスタート／ストップするなどの制御をはじめ、本発明で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラムはメモリ１１４に常駐し、プログラムの実行に必要となる各種の変数の値やデータ類も必要に応じて格納される。
【００１３】
ビデオメモリ１１６は、ディスプレイ１２０に表示される画像をデジタルデータとして格納している。Ｄ／Ａコンバータ１１８は、一般にＲＡＭＤＡＣと呼ばれている種類のＤ／Ａコンバータであり、ビデオメモリ１１６に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ１２０に描画する。この種類のＤ／Ａコンバータは、ビデオメモリ１１６のデータを更新すると、その更新内容がディスプレイ１２０の表示内容に直ちに反映される。また、画像圧縮エンコーダ１０４に入力される撮影中の画像を、画像圧縮機能をバイパスして、ビデオメモリ１１６に直接書き込むことも可能である。ディスプレイ１２０は、画像を表示するためのデバイスであり、小型のＣＲＴやプラズマディスプレイであっても良く、液晶タイプの表示デバイスであっても良い。画像伸張デコーダ１０６は、補助記憶装置１１０に格納された圧縮された動画データを伸張し、画像としてビデオメモリ１１６上に展開する。
【００１４】
アナログ出力１２４は、伸張した画像を、ＮＴＳＣ方式をはじめとする、テレビ受像機に広く用いられているアナログ映像信号に変換して出力する。この出力を現在広く普及しているＶＨＳ方式などのビデオ機器に接続して記録することができる。また、音声も記録されている場合には、画像の伸張に同期させて、音声用Ｄ／Ａコンバータ１３２とスピーカー１３０によって音声出力することもできる。入力Ｉ／Ｆ１２３は、録画ボタンや再生ボタンなどのスイッチ類や、ディスプレイ１２０の表示面に貼られた透明なタッチパネルといった情報入力デバイスである。入力された情報はＣＰＵ１１２に伝えられ、適宜処理される。バス１０８は、以上の各デバイス間を相互につなぐデータバスである。
【００１５】
本発明のデジタルカメラは、撮像した画像系列をズームイン、ズームアウトのカメラ操作に応じて画像を合成する。メモリ１１４内に格納されたカメラ制御プログラムは、撮影区間の間、撮像された画像をメモリに取り込みながら画像をズーム率に合わせてスケーリングして合成し、逐次ビデオメモリ１１６に転送し、ディスプレイ１２０に超解像画像１２２を表示する。撮影が終了すると、超解像画像は補助記憶装置１１０に、画像データ構造体１１０−１として格納される。映像のヘッダー情報１１０−１−１は、画像圧縮の方式、画像の縦横のサイズといった伸張に必要な情報が含まれる。また、連続する画像間のズーム率も必要な情報として含んでもよい。有効フラグ１１０−１−２は、その画像が有効か無効かを示すフラグであり、簡易な画像編集の際に用いられる。画像データ量１１０−１−３は、このあとに続く画像データ１１０−１−４が何バイトあるのかを示す。これにより、画像の種類によって画像圧縮されたり、超解像画像のサイズが変化しても、画像データがどこに記録されているかが計算できる。
【００１６】
図２は、超解像カメラの外観ならびに画面表示の一実施例である。カメラ本体２００は、大きく光学系（レンズ部を含む）１００、ファインダ１０１、平面ディスプレイ１２０と操作ボタン類２０１〜２０５などから構成される。光学系１００で撮られた映像は、ファインダ１０１で確認できるとともに、ディスプレイ１２０には、そのままの画像、または画像を合成して得た超解像画像が表示され、撮像内容が確認できるようになっている。操作スイッチ２０１はズームを行うためのものである。操作スイッチ２０１は、シーソースイッチになっていて、一方に倒すと連続的にズームインされた望遠撮影になり、もう一方に倒すと逆にズームアウトした広角撮影になる。録画は、録画ボタン２０２を押すことででき、一度押すと録画が開始され、録画中にもう一度押すと録画が終了する。録画区間中にユーザが広角や望遠によって風景を撮影したときは、各画像列をスケーリングしながら合成した超解像画像をリアルタイムで作成し、ディスプレイ１２０上へ表示する。これにより画像の合成状況が即座に確認でき、撮影者の意図した超解像画像が確実に作成できる。もちろん、取り込んだ動画を一度、補助記憶装置１１０に記憶しておき、別途補助記憶装置から動画のクリップを読み出し、超解像画像を作成することもできる。
【００１７】
ここでボタン操作によって、格納された画像のプレイバックを指示すると、画面１２０に一覧表や個別の画像が表示される。ここで挙げたカメラの構成例では、２０３と２０４は汎用ボタンであり、カメラの各種の動作の決定に汎用的に用いられる。また、２０５はスクロールボタンで、撮影した多数の超解像画像を選択したり、ディスプレイ１２０上に表示しきれない超解像画像をスクロールするのに利用する。
【００１８】
録画された画像はアナログ出力１２４を介して、テレビ受像機に広く用いられているアナログ映像信号に変換して出力できる。また、コンピュータインタフェース２０６を介して、録画データを一般のコンピュータへ転送できる。このことにより本発明の超解像カメラが、情報取得ツールとしても利用可能となる。
【００１９】
図３は広角で高い解像度の静止画を作成する過程の説明図であり、図４を併用して説明する。録画ボタンが押されてから再度押されるまでの画像列が１２１である。カメラをズームアウトした広角の状態から中心の対象物にズームインしながら撮影すると、画像列１２１が得られる。図３の例では、録画開始時点では「全景」が映り、録画終了時点では「ヘリコプター」が映る。その間の画像は少しスケールが大きくなりながら変化する。ただし、この間の変化率は一定ではなく、ユーザのズーム操作の停止等により、画像スケールの変化率は変動しうる。このような状況下でも、画像間のズーム率に追従して画像列を適宜スケーリングして、全景も映った状態で、なおかつ目的とする対象物の詳細も識別できる高解像度の画像を合成し、超解像画像１２２を得る。そのため、図４に示すように、時間的に隣接した画像１２１−１、１２１−２との間で画像特徴量に基づく照合を行い、画像間のズーム率を求める（４００）。求めたズーム率に応じて、最新の画像をスケーリングし、超解像画像１２２−１に上書きする（４１０）。このような処理を録画中の全ての画像間で実行すると、超解像画像１２２が得られる。
【００２０】
なお、ズームイン操作で撮影した時の超解像画像生成過程を示したが、ズームアウト操作で撮影した場合も同様である。その場合は最新の画像をスケーリングして、超解像画像１２２−１に上書きする際、前画像からはみ出した領域に限定して上書きすれば良い（４１０）。ここで、画像のスケーリングは単純にスケールに応じて拡大または縮小する方式でよいが、このとき、周囲の４つの画素を参照して線形補間する方式を適用しても良い。線形補間する方式では、演算量が４倍に増える問題はあるが、超解像画像を拡大表示した時、画像のギザギザを目立たなくすることができる。
【００２１】
生成する超解像画像をリアルタイムに表示させる場合には、録画開始時のレンズ倍率に従って、録画開始時の第１枚目の画像をどのサイズでディスプレイに表示するかを予め設定しておくことが望ましい。ズームアウトしきった状態からズームインしながら撮影する場合、最初の１枚目の画像は十分大きなサイズで表示しても問題はないが、ズームインしきった状態からズームアウトしながら撮影する場合は、第１枚目の画像はズームアウト時しきった状態になってもディスプレィの画面からはみ出さない大きさで表示される必要がある。
【００２２】
図５にズーム率を検出する原理を示す。
【００２３】
まず、時刻Tiの画像１２１−１の水平投影分布５００および垂直投影分布５０１を作成する。水平投影分布５００は入力画像の各画素の輝度の値を水平方向に加算した結果を、画像の幅（ｗ）で正規化して作成する。一方、垂直投影分布５０１は入力画像の各画素の輝度の値を垂直方向に加算した結果を画像の高さ（Ｈ）で正規化して作成する。時刻Ti+1の画像１２１−２についても同様にして、水平投影分布５０２および垂直投影分布５０３を作成する。なお、輝度値に変えてＲＧＢのいずれかのスペクトルの強さやエッジ（変化点）の強度を使用してもよい。画像の特徴を示す値である限り、種々のパラメータを使用することができる。
【００２４】
次に、垂直投影分布（５０１、５０３）の照合によりズーム率を予測する。ズーム率の予測には前方予測（Ti→Ti+1）と後方予測（Ti+1→Ti）を行い、前方予測結果と後方予測結果のうち誤差の少ない方を垂直投影分布によるズーム率検出結果とする。前方予測では、時刻Tiの画像１２１−１の垂直投影分布５００から、複数の仮のズーム率を設定して、それらのズーム率での垂直投影分布（仮の垂直投影分布）を生成する。そして生成した仮の垂直投影分布と時刻Ti+1の画像１２１−２の垂直投影分布５０１とを照合する。仮のズーム率は、連続する画像間でのズーム率はその変動範囲が限られるため、想定される範囲で仮のズーム率を逐次設定し、照合の結果、誤差が最小となるときの仮のズーム率を垂直投影分布によるズーム率予測結果とする。ここで、「ズーム率」とは画像中の対象物（視野）の大きさが、前の画像に対して後の画像がどれだけ大きくなったかを表す比率のことと定義する。
【００２５】
図６に仮のズーム率を設定して、仮の投影分布を生成し、照合する様子を示す。仮の投影分布はもとの投影分布を１次元の投影軸方向にスケーリングすることにより生成する。また２つの投影分布間の照合における照合誤差として、各要素間での差分の絶対値の総和を利用する。これ以外にも、平均２乗誤差を利用しても良い。ズームの予測時に、このような（画像を直接スケーリングして照合するのではなく）画像の投影分布をスケーリングしての照合を行うことにより大幅な計算量の削減が達成される。その結果、100MIPS程度のＣＰＵ性能があれば、この処理は１秒間に３０回以上可能であり、ビデオレートのリアルタイム処理が実現できる。
【００２６】
このように、前方予測と後方予測の両方を行うのは、精度の高いズーム率検出を達成するためである。ズームアウト方向の予測精度は、ズームアウトすることによる新たな領域の画像部分が生じるため、照合結果が劣化する。両方の予測を行うことによって、前方予測もしくは後方予測のいずれか一方が見かけ上、ズームイン操作の画像列のごとく取り扱えるため、高い精度の予測、ユーザの任意のズーム操作に対して安定した精度での予測が行える。同様にして水平投影分布間の照合を行い、水平投影分布によるズーム率が予測される。
【００２７】
そして両者の予測したズーム率をそれぞれ３つに分類して、両者の分類が一致するかどうかを調べる。ズーム率が1.0であればスティル、ズーム率が1.0より大きければズームイン、ズーム率が1.0未満であればズームアウトである。もし、分類結果が不一致であれば、強制的にズーム率を1.0とし、ズーム操作は行われなかったと判定する。分類結果が一致すれば、照合誤差の小さい方のズーム率を、隣接する画像間のズーム率として採用する。
【００２８】
このように、垂直投影分布と水平投影分布の両方のズーム率の分類が一致することをズーム率検出の条件としたのは水平方向または垂直方向だけの対象物の移動によって、誤ってズームと判定しないようにするためである。例えば、両開きのドアが開閉した場合を撮影したような映像では、垂直投影分布からのズーム予測は「開」の場合ズームイン、「閉」の場合ズームアウトと判定される。しかし、水平投影分布からのズーム予測はスティルと判定されるため、このような状況でもスティルと正しく判定できる。
【００２９】
図８に本発明のカメラ制御プログラム１１４−１の一実施例として、録画中の超解像画像の生成処理を中心にフローチャートで示す。高解像画像の生成処理のほかにも、既存のデジタルカメラでの方式に従い、蓄積した画像の編集、検索、通信等の処理もできるのはもちろんである。カメラ制御プログラム１１４−１は図９に示す制御データ１１４−２を参照して、実行される。
【００３０】
ステップ８００は初期化処理であり、変数statusを０にリセットする。カメラの電源が入っている間（ステップ８０２）、以下の超解像画像生成処理を行う。まず、ステップ８０４で録画ボタン２０２が押されたかどうかをチェックする。
【００３１】
もしstatusが０で録画ボタンが押された場合は、録画開始処理８０８を実行する。ここでは、カメラのディスプレイ１２０に表示されていた以前の超解像画像を消去し、新しい超解像画像表示に備える。すなわち、SUPER_RESOLUTION_IMAGE_BUF（超解像画像バッファ）１１４−２−２（図９）を初期化する。次に、ステップ８１０で変数statusに１をセットし、録画状態とする。
【００３２】
一方、変数statusが１で録画ボタンが押された場合は、録画終了処理８１２を実行する。ここでは、録画中に作成した超解像画像の、ヘッダー情報や画像データ量および超解像画像を画像データ構造体１１０−１の所定の場所に書き込む。次に、ステップ８１４で変数statusを０にリセットし、録画停止状態とする。
【００３３】
ステップ８２０ではstatusが１かどうかチェックし、もし１であれば以下の処理を行う。ステップ８２２では撮像素子１０２、画像圧縮エンコーダ１０４を介して、画像を入力し、メモリ１１４上のIMAGE_BUF（画像バッファ）１１４−２−１に記憶し、フレーム番号を１つ更新する。次に、ステップ８２４において、IMAGE_BUF１１４−２−１に記憶された入力画像から垂直および水平方向の投影分布を計算する。以上の投影分布は、それぞれ、図９のX_PROJ_CURRENT（現在フレームの垂直投影分布配列）１１４−２−４およびY_PROJ_CURRENT（現在フレームの水平投影分布配列）１１４−２−６に格納される。この投影分布は次のフレームの入力まで保存されており、次のフレームの入力時に、それぞれ、X_PROJ_LAST（前フレームの垂直投影分布配列）１１４−２−３およびY_PROJ_LAST（前フレームの水平投影分布配列）１１４−２−５に移動させられる。さらに次のフレーム入力時には破棄される。
【００３４】
ステップ８２６では、一つ前のフレームの投影分布と現在のフレームの投影分布とを照合してズーム率を検出する。この処理の詳細は図１０を参照して後述する。ステップ８２８では、検出したズーム率に応じて、入力した画像をスケーリングし、SUPER_RESOLUTION_IMAGE_BUF１１４−２−２に上書きする。ステップ８３０でSUPER_RESOLUTION_IMAGE_BUF１１４−２−２の画像をビデオメモリ１１６に転送し、デイスプレイ１２０に超解像画像を表示する。この転送の際、ディスプレイの解像度にあわせて、SUPER_RESOLUTION_IMAGE_BUF１１４−２−２の内容を間引いて表示することもできる。解像度の高いディスプレイは一般にコスト高となるため、より解像度の低いディスプレイに対応する構成である。SUPER_RESOLUTION_IMAGE_BUF１１４−２−２の内容をそのまま保存しておくことにより、必要に応じて別の表示装置を介して高精細な表示や印刷が可能になる。
【００３５】
次に、本発明の超解像画像作成のための画像間のズーム率検出の一実施例を図１０を用いて説明する。
【００３６】
ステップ１０００では垂直投影分布からズーム率を検出して変数zoom_xに値をセットする。この処理の詳細は後で図１１を用いて説明する。次にステップ１１００で水平投影分布からズーム率を検出して変数zoom_yに値をセットする。
【００３７】
ステップ１２００では、両者の予測したズーム率を３つに分類して、分類結果が一致するかどうかを調べる。まず、どちらの分類結果もズームインであることを確認するための判定条件として、zoom_x、zoom_yが共に1.001より大きいことをチェックする。0.001が加算されているのは、スティル状態を誤ってズームとしないための許容誤差を与えたものである。画像のサイズやカメラ操作の速さなどに応じて許容誤差を与え、これにより対象物の移動等による画像変動によって生じる誤った判定が抑止される。次に、どちらの分類結果もズームアウトであることを確認するための判定条件として、zoom_x、zoom_yが共に0.999より小さいことをチェックする。上記いずれでもない場合はスティルと判定する。
【００３８】
ズームアウトまたはズームインと判定された場合は、zoom_xを検出したときの照合誤差minval_xとzoom_yを検出したときの照合誤差minval_yとを比較し、小さい方のズーム率を画像間のズーム率を示す変数zoomに設定する。これらはステップ１２０１から１２０６で行う。またスティルの場合、ステップ１２０７で変数zoomに1.0を設定する。
【００３９】
図１１は垂直投影分布からズーム率を検出する処理の詳細であり、図１２は水平投影分布からズーム率を検出する処理の詳細である。両者は水平投影分布から検出するか、垂直投影分布から検出するかの違いがあるだけで、処理内容は同じである。そこで、図１１について詳細に説明する。
【００４０】
ステップ１００１では前方予測時の照合誤差を記憶する変数minval_f_xを十分大きな値に設定する。ステップ１００２では、連続する画像間のズーム率はその変動範囲が限られるので、想定される範囲を変数iに設定する。この例では、視野のサイズが−１０画素から＋１０画素までの変動を想定している。
【００４１】
ステップ１００３では、X_PROJ_LAST１１４−２−３に格納された前フレームの投影分布から、視野のサイズがｉ画素分変動したときの投影分布を生成し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２−７に格納する。仮の投影分布の生成はもとの投影分布を１次元の投影軸の方向にスケーリングするだけであるので高速に計算できる。次に、X_PROJ_CURRENT１１４−２−６に格納された現在フレームの投影分布とX_PROJ_WORK１１４−２−７に格納された仮の投影分布との照合を行い、その時の照合誤差を変数ERRORに格納する。ステップ１００５でERRORとminval_f_xとの値を比較し、ERRORの方が小さいとき、そのときの変数iをmin_f_dxに代入するとともに、minval_f_xにERRORの値を代入する（ステップ１００６）。以上の処理を繰り返すことによって、変数min_f_dxには最もよく照合がとれた時のi、及びそのときの照合誤差（minval_f_x）が求まる。
【００４２】
ステップ１００７では、上記の変数min_f_dxの値を利用して、前方予測のズーム率を計算し、変数zoom_f_xに格納する。画像の幅をｗとすると、ズーム率は(ｗ＋min_f_dx) / wで計算できる。
【００４３】
同様に、ステップ１０１１で後方予測時の照合誤差を記憶する変数minval_b_xを十分大きな値に設定し、ステップ１０１２で想定される変動範囲を変数iに設定する。
【００４４】
ステップ１０１３では、X_PROJ_CURRENT１１４−２−４に格納された現フレームの投影分布から、視野のサイズがｉ画素分変動したときの投影分布を生成し、X_PROJ_WORK（仮の垂直投影分布配列）１１４−２−７に格納する。次にX_PROJ_LAST１１４−２−３に格納された前フレームの投影分布とX_PROJ_WORK１１４−２−７に格納された仮の投影分布との照合を行い、その時の照合誤差を変数ERRORに格納する。ステップ１０１５でERRORとminval_b_xとの値を比較し、ERRORの方が小さいとき、そのときの変数iをmin_b_dxに代入するとともに、minval_f_xにERRORの値を代入する（ステップ１０１６）。以上の処理を繰り返すことによって、変数min_b_dxには最もよく照合がとれた時のi、及びそのときの照合誤差（minval_b_x）が求まる。
【００４５】
ステップ１０２０では、上記の変数min_b_dxの値を利用して、後方予測のズーム率を計算し、変数zoom_b_xに格納する。ズーム率はw / (ｗ＋min_b_dx)で計算できる。
【００４６】
ステップ１０２１から１０２４では、照合誤差が一定の閾値よりも大きい場合はズーム検出の信頼性が悪いと判定し、zoom_f_xおよびzoom_b_xとを1.0に置き換える。
【００４７】
ステップ１０２５では、minval_f_xとminval_b_xとの値を比較し、ステップ１０２６またはステップ１０２７で、値の小さい方のズーム予測値を変数zoom_xに格納するとともにその時の照合誤差を変数minval_xに格納する。このzoom_xが垂直投影分布からのズーム検出結果となる。
【００４８】
図７は、ユーザのカメラ操作をディスプレイに表示するユーザインタフェース（画面表示）の一例である。垂直投影分布７００および水平投影分布７０１を、横軸に撮影時間、縦軸に投影位置として、時間推移で表示する。これは、図５に示される垂直投影分布５０１および水平投影分布５００の各配列の値を濃淡の階調に変換し、各フレームにつき縦に１ライン表示することにより得られる。図７に示されるパターンはカメラ操作がズームアウトした状態から撮影を開始して、ズームインしていったときの投影分布を時系列に並べた推移の例である。このような表示をディスプレィ１２０上に超解像画像と並べて表示することで、カメラ操作の時間的な状況がさらにユーザに理解しやすくなる。異なるカメラワークであれば異なったパターンが表れる。例えば、スティルであれば横軸に平行なパターンが、パンであれば横軸に一定の角度をもって傾斜したパターンが表れる。
【００４９】
なお、本実施態様ではズームイン、ズームアウトのカメラ操作を利用して、画面の中心になるほど高解像度の画像になる超高解像カメラを提供したが、カメラのパンやチルトの操作を併用することで画面の中心だけでなく着目する領域を狙って高解像の画像を生成することも可能である。例えば、図３のようにズームインした後にパン操作を行った場合、パン操作により得られる画像を時刻Teの画像に接続して上書きすることにより、より広い着目領域についての高解像画像を生成できる。
【００５０】
さらに、ズーム操作とともにパン操作を行った場合であっても、高解像の画像は生成可能である。この場合には、ズーム率の予測に加えて位置ずれの予測を行って超解像画像を生成する。
【００５１】
また、本実施の態様としては、図２に示すような一つの筺体に作りこまれたものに限られない。パーソナルコンピュータのようなデジタルコンピュータに、動画が撮影可能なビデオカメラを接続し、ビデオカメラから取り込んだ画像に対して以上のような処理を行い、ディジタルコンピュータのディスプレイ上に高解像画像を表示することが可能であることももちろんである。この場合、カメラ制御プログラム１１４−１に相当する超解像画像生成プログラムを記憶した磁気ディスク、光ディスク等の記録媒体あるいはディジタルコンピュータが接続されたネットワークを通じてディジタルコンピュータに供給され、ディジタルコンピュータは記録媒体より超解像画像生成プログラムをそのメインメモリに読み込む。このように、ディスプレイが撮像素子の解像度よりも高解像度である限りにおいて、本発明は種々変形した実施態様により実施される。
【００５２】
【発明の効果】
本発明によれば、広い視野角で、かつ注目する領域については高い分解能で撮影したのと同様の広角・高解像度の静止画を、低コストに、ロバストに、かつリアルタイムに生成できる超解像カメラが実現できる。さらに、超解像画像の作成状況はディスプレイ上で刻々と確認できるため、撮影の失敗を未然に防止できる。また、画像はコンピュータへ転送することができ、高精細プリンタや高精細ディスプレイにより高精細な画像として見ることが可能である。
【図面の簡単な説明】
【図１】本発明を実現するためのシステム構成図の一例である。
【図２】本発明の超解像カメラの外観を表す図の一例である。
【図３】超解像画像の作成過程の概念図である。
【図４】２枚の画像の合成例である。
【図５】本発明のズーム率自動検出原理を示す図である。
【図６】仮の投影分布と基準の投影分布との照合を示す図である。
【図７】投影分布の時空間画像の表示の一例である。
【図８】カメラ制御プログラムのフローチャートの一例である。
【図９】超解像画像生成のための制御データのデータ構造の一例である。
【図１０】超解像画像作成のための画像間のズーム率検出の一実施例である。
【図１１】垂直投影分布からズーム率を検出する処理のフローチャートの一例である。
【図１２】水平投影分布からズーム率を検出する処理のフローチャートの一例である。
【符号の説明】
１００…光学系、１０１…ファインダ、１０２…撮像素子、１０４…画像圧縮エンコーダ、１０６…画像伸張デコーダ、１０８…バス、１１０…補助記憶装置、１１２…ＣＰＵ、１１４…メモリ、１１６…ビデオメモリ、１１８…Ｄ／Ａコンバータ、１２０…ディスプレイ、１２２…超解像画像、１２３…入力Ｉ／Ｆ、１２４…アナログ出力、１２６…マイク、１３０…スピーカ。
Claims (10)
- 任意の情景を動画として撮影する撮像手段と、ディスプレイとを有する画像合成装置であって、
上記撮像手段で撮影された動画を構成する画像列に含まれる画像の水平及び垂直方向の画素の投影分布を作成する作成手段と、
上記投影分布を用いて上記画像間のズーム率を検出するズーム率検出手段と、
上記画像を上記ズーム率に応じてスケーリングする手段を有し、
上記ディスプレイには、上記スケーリングされた画像を上書き合成した高解像度画像が表示されることを特徴とする画像合成装置。 - 上記手段に加えてさらに、書き込みと読み出しと消去が可能な画像蓄積手段を有し、上記高解像度画像、上記ズーム率及び上記動画を上記画像蓄積手段に格納することを特徴とする請求項１記載の画像合成装置。
- 上記ディスプレイは上記撮像された動画よりも高精細であることを特徴とする請求項１または２記載の画像合成装置。
- ＣＰＵと記憶手段を備え、撮像手段に接続された装置内で、
上記ＣＰＵに、
上記撮像手段で撮像された一連の画像列の入力を受けるステップと、
上記画像列に含まれる画像水平及び垂直方向の画素の投影分布を作成するステップと、
上記投影分布をもとに上記画像間のズーム率を検出するステップと、
上記ズーム率に応じて、上記画像列の画像を逐次拡大または縮小して上書き合成するステップと、
上記合成した画像をディスプレイに表示させるステップを有することを特徴とする画像合成方法を実行させるプログラムを記録した記録媒体。 - 上記ズーム率を検出するステップは、
上記画像列に含まれる第一の画像の上記投影分布について複数のズーム率を想定して拡大もしくは縮小した複数の仮の投影分布を作成するステップと、
上記複数の仮の投影分布と上記第一の画像に隣接する第二の画像の上記投影分布とを照合するステップと、
上記複数の仮の投影分布のズーム率のうち上記照合の誤差が最小の第一のズーム率を求めるステップと、
上記水平方向の投影分布及び上記垂直方向の投影分布のそれぞれについて求めた上記第一のズーム率の間の整合性を判定するステップと、
上記判定の結果をもとに上記第一の画像と上記第二の画像との間のズーム率を設定するステップとからなることを特徴とする請求項４記載の画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。 - 上記ズーム率を検出するステップは、
上記第二の画像の投影分布について複数のズーム率を想定して拡大もしくは縮小した複数の仮の投影分布を作成するステップと、
上記複数の仮の投影分布と上記第一の画像の投影分布とを照合して、上記複数の仮の投影分布のズーム率のうち上記照合の誤差が最小の第二のズーム率を求めるステップと、
上記水平方向の投影分布及び上記垂直方向の投影分布のそれぞれについて求めた上記第二のズーム率の間の整合性を判定するステップと、
上記判定の結果をもとに上記第一の画像と上記第二の画像との間のズーム率を設定するステップと、
上記第一のズーム率をもとに求めた上記ズーム率および上記第二のズーム率をもとに求めた上記ズーム率のいずれか照合誤差の小さい方を上記第一の画像と上記第二の画像の間のズーム率として設定するステップとからなることを特徴とする請求項５記載の画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。 - 上記投影分布は、上記画像を構成する画素の輝度値を上記画像の底辺に対して水平もしくは垂直方向に積分した結果を積分した個数で正規化した結果であることを特徴とする請求項５または６記載画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。
- 上記照合誤差は、２つの上記投影分布の対応する要素間の差分の絶対値の総和であることを特徴とする請求項５乃至７のいずれかに記載の画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。
- 上記２つのズーム率の整合性を判定するステップは、
上記水平方向の投影分布から求めたズーム率及び上記垂直方向の投影分布から求めたズーム率をズームイン、ズームアウト、スティルの３種類のいずれかに分類するステップと、上記分類の結果が異なる場合は上記第一の画像と上記第二の画像の間のズーム率を１に設定するステップと、
上記分類の結果が同じ場合は上記照合誤差の小さい方のズーム率を上記第一の画像と上記第二の画像の間のズーム率とするステップとからなることを特徴とする請求項５乃至８のいずれかに記載の画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。 - 上記ステップに加えてさらに、
上記水平方向もしくは垂直方向の投影分布の投影位置を１次元とし、時間経過を１次元とする２次元の空間に、上記投影分布の値を上記各投影位置における濃度としてディスプレイに表示させるステップを有することを特徴とする請求項５乃至９のいずれかに記載の画像合成方法を上記ＣＰＵに実行させるプログラムを記録した記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05310098A JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
| DE69930986T DE69930986T2 (de) | 1998-03-05 | 1999-02-16 | Hochauflösende Kamera |
| EP99103053A EP0940978B1 (en) | 1998-03-05 | 1999-02-16 | High resolution camera |
| US09/257,059 US6750903B1 (en) | 1998-03-05 | 1999-02-25 | Super high resolution camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05310098A JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11252428A JPH11252428A (ja) | 1999-09-17 |
| JP3695119B2 true JP3695119B2 (ja) | 2005-09-14 |
Family
ID=12933379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05310098A Expired - Lifetime JP3695119B2 (ja) | 1998-03-05 | 1998-03-05 | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6750903B1 (ja) |
| EP (1) | EP0940978B1 (ja) |
| JP (1) | JP3695119B2 (ja) |
| DE (1) | DE69930986T2 (ja) |
Families Citing this family (100)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3991543B2 (ja) | 2000-01-11 | 2007-10-17 | 株式会社日立製作所 | 撮像装置 |
| US7446783B2 (en) * | 2001-04-12 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | System and method for manipulating an image on a screen |
| US7286161B2 (en) * | 2002-02-21 | 2007-10-23 | Canon Kabushiki Kaisha | Digital camera, image processing apparatus, image processing method, image processing system, and program for setting plural trimming areas with respect to image data |
| GB2388265B (en) * | 2002-04-30 | 2005-10-12 | Hewlett Packard Co | Improvements in and relating to processing of images |
| US7058237B2 (en) * | 2002-06-28 | 2006-06-06 | Microsoft Corporation | Real-time wide-angle image correction system and method for computer image viewing |
| JP3809411B2 (ja) * | 2002-09-27 | 2006-08-16 | キヤノン株式会社 | 画像処理方法及び装置並びに印刷装置 |
| JP4178987B2 (ja) * | 2003-02-14 | 2008-11-12 | 株式会社ニコン | 電子カメラ |
| US7209601B2 (en) | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
| US7317479B2 (en) * | 2003-11-08 | 2008-01-08 | Hewlett-Packard Development Company, L.P. | Automated zoom control |
| US7920180B2 (en) * | 2004-04-06 | 2011-04-05 | Hewlett-Packard Development Company, L.P. | Imaging device with burst zoom mode |
| JP2005311878A (ja) * | 2004-04-23 | 2005-11-04 | Olympus Corp | カメラおよびカメラの制御方法 |
| JP4184319B2 (ja) * | 2004-06-10 | 2008-11-19 | オリンパス株式会社 | 撮像装置 |
| JP4433981B2 (ja) | 2004-10-29 | 2010-03-17 | ソニー株式会社 | 撮像方法および撮像装置 |
| GB0424767D0 (en) * | 2004-11-10 | 2004-12-08 | Koninkl Philips Electronics Nv | Method for generating images and optical device |
| CN100521743C (zh) | 2004-11-30 | 2009-07-29 | 松下电器产业株式会社 | 图像处理方法、图像处理装置 |
| JP4379728B2 (ja) * | 2005-01-31 | 2009-12-09 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| US7595823B2 (en) * | 2005-02-17 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | Providing optimized digital images |
| EP1883902B1 (en) * | 2005-05-10 | 2011-08-03 | Active Optics Pty. Ltd. | Method of controlling an image capturing system, image capturing system and digital camera |
| US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
| US7970239B2 (en) | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
| US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
| JP4746450B2 (ja) * | 2006-03-10 | 2011-08-10 | パナソニック株式会社 | 画像変換装置 |
| JP2008077501A (ja) * | 2006-09-22 | 2008-04-03 | Olympus Corp | 画像処理装置及び画像処理制御プログラム |
| US7664383B2 (en) * | 2007-01-18 | 2010-02-16 | Sony Ericsson Mobile Communications Ab | Multiple frame photography |
| WO2008102898A1 (ja) * | 2007-02-19 | 2008-08-28 | Tokyo Institute Of Technology | 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム |
| US20090044117A1 (en) * | 2007-08-06 | 2009-02-12 | Apple Inc. | Recording and exporting slide show presentations using a presentation application |
| JP5109697B2 (ja) | 2008-02-07 | 2012-12-26 | ソニー株式会社 | 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム |
| JP4860739B2 (ja) * | 2009-09-03 | 2012-01-25 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| EP2483767B1 (en) | 2009-10-01 | 2019-04-03 | Nokia Technologies Oy | Method relating to digital images |
| SE534551C2 (sv) * | 2010-02-15 | 2011-10-04 | Scalado Ab | Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild |
| US20110216157A1 (en) * | 2010-03-05 | 2011-09-08 | Tessera Technologies Ireland Limited | Object Detection and Rendering for Wide Field of View (WFOV) Image Acquisition Systems |
| JP2011244058A (ja) * | 2010-05-14 | 2011-12-01 | Sony Corp | 情報処理装置、情報処理システム、及びプログラム |
| JP5757757B2 (ja) * | 2011-03-15 | 2015-07-29 | オリンパス株式会社 | 映像処理装置、映像表示装置、及び映像表示システム |
| US20120236181A1 (en) | 2011-03-16 | 2012-09-20 | Qualcomm Incorporated | Generating a zoomed image |
| US8723959B2 (en) | 2011-03-31 | 2014-05-13 | DigitalOptics Corporation Europe Limited | Face and other object tracking in off-center peripheral regions for nonlinear lens geometries |
| SE1150505A1 (sv) | 2011-05-31 | 2012-12-01 | Mobile Imaging In Sweden Ab | Metod och anordning för tagning av bilder |
| US9432583B2 (en) | 2011-07-15 | 2016-08-30 | Mobile Imaging In Sweden Ab | Method of providing an adjusted digital image representation of a view, and an apparatus |
| US8493459B2 (en) | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of distorted images |
| US8493460B2 (en) * | 2011-09-15 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Registration of differently scaled images |
| JP2013128176A (ja) * | 2011-12-16 | 2013-06-27 | Sanyo Electric Co Ltd | 電子カメラ |
| KR20130092213A (ko) * | 2012-02-10 | 2013-08-20 | 삼성전자주식회사 | 디지털 촬영 장치 및 이의 제어 방법 |
| JP6210062B2 (ja) * | 2012-06-21 | 2017-10-11 | ソニー株式会社 | 撮像制御装置、撮像制御方法およびプログラム |
| US8928730B2 (en) | 2012-07-03 | 2015-01-06 | DigitalOptics Corporation Europe Limited | Method and system for correcting a distorted input image |
| CN116405747A (zh) | 2012-11-28 | 2023-07-07 | 核心光电有限公司 | 多孔径成像系统以及通过多孔径成像系统获取图像的方法 |
| EP2979445A4 (en) * | 2013-03-27 | 2016-08-10 | Bae Sys Inf & Elect Sys Integ | ELECTROOPTICAL FUSION ZOOM CAMERA WITH SEVERAL VIEW FIELDS AND MULTIPLE SENSORS |
| CN109194849B (zh) | 2013-06-13 | 2021-01-15 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
| CN108549119A (zh) | 2013-07-04 | 2018-09-18 | 核心光电有限公司 | 小型长焦透镜套件 |
| CN108718376B (zh) | 2013-08-01 | 2020-08-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
| US9215377B2 (en) * | 2013-12-04 | 2015-12-15 | Nokia Technologies Oy | Digital zoom with sensor mode change |
| FR3016703A1 (fr) * | 2014-01-21 | 2015-07-24 | Move N See | Procede et dispositif de commande de zoom d’un appareil de prise de vues |
| US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
| JP2016092609A (ja) * | 2014-11-05 | 2016-05-23 | オリンパス株式会社 | 撮像装置および撮像装置の制御方法 |
| WO2016108093A1 (en) | 2015-01-03 | 2016-07-07 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
| CN107407849B (zh) | 2015-04-02 | 2018-11-06 | 核心光电有限公司 | 双光模块相机中的双音圈线圈电机结构 |
| US9927600B2 (en) | 2015-04-16 | 2018-03-27 | Corephotonics Ltd | Method and system for providing auto focus and optical image stabilization in a compact folded camera |
| KR102114595B1 (ko) | 2015-05-28 | 2020-05-25 | 코어포토닉스 리미티드 | 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성 |
| CN107852467B (zh) | 2015-08-13 | 2021-01-26 | 核心光电有限公司 | 具有视频支持和切换/无切换动态控制的双孔径变焦摄影机 |
| EP3335077B1 (en) | 2015-09-06 | 2019-08-14 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
| EP3398324B1 (en) | 2015-12-29 | 2022-05-11 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
| KR102002718B1 (ko) | 2016-05-30 | 2019-10-18 | 코어포토닉스 리미티드 | 회전식 볼-가이드 음성 코일 모터 |
| CN112217977A (zh) | 2016-06-19 | 2021-01-12 | 核心光电有限公司 | 双孔径摄影机系统中的帧同步 |
| KR102903119B1 (ko) | 2016-07-07 | 2025-12-22 | 코어포토닉스 리미티드 | 폴디드 옵틱용 선형 볼 가이드 보이스 코일 모터 |
| WO2018007951A1 (en) | 2016-07-07 | 2018-01-11 | Corephotonics Ltd. | Dual-camera system with improved video smooth transition by image blending |
| CN114051092B (zh) | 2016-12-28 | 2024-07-26 | 核心光电有限公司 | 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机 |
| EP4145206A1 (en) | 2017-01-12 | 2023-03-08 | Corephotonics Ltd. | Compact folded camera |
| CN113341529B (zh) | 2017-02-23 | 2023-09-19 | 核心光电有限公司 | 折叠式摄影机透镜设计 |
| CN107071273A (zh) * | 2017-03-01 | 2017-08-18 | 北京橙鑫数据科技有限公司 | 一种拍照指令发送方法及装置 |
| JP2020512581A (ja) | 2017-03-15 | 2020-04-23 | コアフォトニクス リミテッド | パノラマ走査範囲付きカメラ |
| US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
| US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
| KR102104761B1 (ko) | 2017-11-23 | 2020-04-27 | 코어포토닉스 리미티드 | 컴팩트 폴디드 카메라 구조 |
| US10976567B2 (en) | 2018-02-05 | 2021-04-13 | Corephotonics Ltd. | Reduced height penalty for folded camera |
| CN113568251B (zh) | 2018-02-12 | 2022-08-30 | 核心光电有限公司 | 数字摄像机及用于提供聚焦及补偿摄像机倾斜的方法 |
| US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
| EP3822588B1 (en) | 2018-04-23 | 2022-09-07 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
| JP2019207635A (ja) * | 2018-05-30 | 2019-12-05 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体、画像生成方法、プログラム、及び記録媒体 |
| KR20210003856A (ko) | 2018-07-04 | 2021-01-12 | 코어포토닉스 리미티드 | 자동차 또는 감시 애플리케이션을 위한 스캐닝 광학 경로 폴딩 요소들을 구비하는 카메라 |
| CN111316346B (zh) | 2018-08-04 | 2022-11-29 | 核心光电有限公司 | 摄像机上方的可切换连续显示信息系统 |
| WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
| US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
| KR102494006B1 (ko) | 2019-03-09 | 2023-01-30 | 코어포토닉스 리미티드 | 동적 입체 캘리브레이션을 위한 시스템 및 방법 |
| KR102515482B1 (ko) | 2019-07-31 | 2023-03-29 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
| US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
| CN119179196A (zh) | 2019-12-03 | 2024-12-24 | 核心光电有限公司 | 致动器 |
| KR102708591B1 (ko) | 2019-12-09 | 2024-09-20 | 코어포토닉스 리미티드 | 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법 |
| US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
| CN114641805A (zh) | 2020-02-22 | 2022-06-17 | 核心光电有限公司 | 用于微距摄影的分屏特征 |
| WO2021220080A1 (en) | 2020-04-26 | 2021-11-04 | Corephotonics Ltd. | Temperature control for hall bar sensor correction |
| KR20240096759A (ko) | 2020-05-17 | 2024-06-26 | 코어포토닉스 리미티드 | 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 |
| EP4191332B1 (en) | 2020-05-30 | 2024-07-03 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
| WO2021255940A1 (ja) * | 2020-06-19 | 2021-12-23 | 株式会社ナイルワークス | 作物の生育診断を行うドローンと、そのカメラシステム |
| EP4202521B1 (en) | 2020-07-15 | 2025-03-19 | Corephotonics Ltd. | Point of view aberrations correction in a scanning folded camera |
| US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
| EP4065934A4 (en) | 2020-07-31 | 2023-07-26 | Corephotonics Ltd. | LARGE STROKE LINEAR POSITION DETECTION HALL EFFECT SENSOR MAGNET GEOMETRY |
| KR102480820B1 (ko) | 2020-08-12 | 2022-12-22 | 코어포토닉스 리미티드 | 스캐닝 폴디드 카메라의 광학 이미지 안정화 |
| KR102732457B1 (ko) | 2020-12-26 | 2024-11-19 | 코어포토닉스 리미티드 | 스캐닝 줌 카메라를 갖는 멀티-애퍼처 모바일 카메라에서의 비디오 지원 |
| TWI836372B (zh) | 2021-03-11 | 2024-03-21 | 以色列商核心光電有限公司 | 彈出式照相機系統 |
| KR20240025049A (ko) | 2021-06-08 | 2024-02-26 | 코어포토닉스 리미티드 | 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라 |
| KR102666903B1 (ko) | 2021-07-21 | 2024-05-16 | 코어포토닉스 리미티드 | 팝-아웃 모바일 카메라 및 액추에이터 |
| CN121091576A (zh) | 2022-03-24 | 2025-12-09 | 核心光电有限公司 | 薄型紧凑透镜光学图像稳定 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5966275A (ja) * | 1982-10-08 | 1984-04-14 | Hitachi Denshi Ltd | テレビジヨンカメラ |
| US5657402A (en) * | 1991-11-01 | 1997-08-12 | Massachusetts Institute Of Technology | Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method |
| JP3335413B2 (ja) * | 1992-04-14 | 2002-10-15 | オリンパス光学工業株式会社 | 電子カメラ |
| US5889553A (en) * | 1993-11-17 | 1999-03-30 | Canon Kabushiki Kaisha | Image pickup apparatus capable of high resolution imaging |
| JP3471964B2 (ja) * | 1995-03-28 | 2003-12-02 | キヤノン株式会社 | 撮像装置 |
| SE512350C2 (sv) * | 1996-01-09 | 2000-03-06 | Kjell Olsson | Ökat skärpedjup i fotografisk bild |
-
1998
- 1998-03-05 JP JP05310098A patent/JP3695119B2/ja not_active Expired - Lifetime
-
1999
- 1999-02-16 EP EP99103053A patent/EP0940978B1/en not_active Expired - Lifetime
- 1999-02-16 DE DE69930986T patent/DE69930986T2/de not_active Expired - Lifetime
- 1999-02-25 US US09/257,059 patent/US6750903B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69930986D1 (de) | 2006-06-01 |
| DE69930986T2 (de) | 2006-12-07 |
| EP0940978A2 (en) | 1999-09-08 |
| US6750903B1 (en) | 2004-06-15 |
| EP0940978A3 (en) | 2003-11-26 |
| EP0940978B1 (en) | 2006-04-26 |
| JPH11252428A (ja) | 1999-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695119B2 (ja) | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 | |
| JP4250543B2 (ja) | 撮像装置及び情報処理装置及びそれらの制御方法 | |
| US7394496B2 (en) | Digital camera capable of image processing | |
| US6466262B1 (en) | Digital wide camera | |
| US8462253B2 (en) | Monitoring system for a photography unit, monitoring method, computer program, and storage medium | |
| KR101343220B1 (ko) | 파노라마 이미지에 대한 실시간 미리 보기 | |
| JP3993922B2 (ja) | 画像変形装置および方法 | |
| JPH10240436A (ja) | 情報処理装置および記録媒体 | |
| JP3750499B2 (ja) | 電子カメラ | |
| JP2003179798A (ja) | デジタルカメラ | |
| WO2008050674A1 (fr) | Dispositif de formation d'images, procédé d'enregistrement d'images et programme d'enregistrement d'images | |
| CN101147391B (zh) | 成像设备、信息处理设备、信息处理方法 | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JP3893416B2 (ja) | 電子スチルカメラおよびその画像データ記録再生方法 | |
| JP2006115525A (ja) | 電子カメラ | |
| JP3841033B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JPH11168685A (ja) | 画像処理方法 | |
| CN100359921C (zh) | 成像设备、成像方法、成像系统和程序 | |
| JP3969172B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP2008065851A (ja) | 情報処理装置および記録媒体 | |
| JP4408397B2 (ja) | 撮影装置および撮影方法およびプログラム | |
| JP3991816B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP2009065323A (ja) | 画像処理装置、画像処理方法、撮像装置および撮像方法 | |
| JP3185958B2 (ja) | 広視野・高精細映像装置 | |
| JP2001119611A (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |