JP3931393B2 - Camera-integrated video recorder and photographing method - Google Patents

Camera-integrated video recorder and photographing method Download PDF

Info

Publication number
JP3931393B2
JP3931393B2 JP23944297A JP23944297A JP3931393B2 JP 3931393 B2 JP3931393 B2 JP 3931393B2 JP 23944297 A JP23944297 A JP 23944297A JP 23944297 A JP23944297 A JP 23944297A JP 3931393 B2 JP3931393 B2 JP 3931393B2
Authority
JP
Japan
Prior art keywords
camera
video recorder
integrated video
recording
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23944297A
Other languages
Japanese (ja)
Other versions
JPH1188811A (en
Inventor
紀之 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP23944297A priority Critical patent/JP3931393B2/en
Publication of JPH1188811A publication Critical patent/JPH1188811A/en
Application granted granted Critical
Publication of JP3931393B2 publication Critical patent/JP3931393B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、パノラマ画像を合成できるように複数の静止画の撮影を行なうようにされたカメラ一体型ビデオレコーダおよび撮影方法に関する。
【0002】
【従来の技術】
ディジタル方式のカメラ一体型ビデオテープレコーダでは、例えばCCDを撮像素子として用い、動画を撮影して得られたビデオ信号をディジタルビデオデータとして磁気テープに記録する。このようなカメラ一体型ビデオテープレコーダにおいて、撮影領域を縦横にゆっくり動かしながら複数のフィールド画像を記録し、記録された複数のフィールド画像を合成することが考えられる。これにより、動画撮影時の1フィールドの画像よりも広い面積範囲の静止画像を得ることができる。
【0003】
すなわち、撮影領域を少しずつ移動させて記録を行ない、撮影開始点から連続的にフィールド画像が得られるようにする。そして、記録されたフィールド画像に対して、位置的に隣接するフィールド画像の重複部分を抽出し、この重複部分に対して所定の演算を行なうことによって、それぞれのフィールド画像をシームレスに合成して、全体として1枚の静止画像を得るような画像処理を行なう。このような画像処理は、例えばパーソナルコンピュータによるソフトウェア処理により行なわれる。
【0004】
このような撮影方法を応用することで、カメラ一体型ビデオテープレコーダで以てパノラマ画像を得ることができる。撮影者は、カメラを水平方向に移動させながら撮影を行なう。例えば、撮影者の周囲360°を連続的に撮影する。得られた画像を、重複部分に適当な処理を加えながらフィールド毎に繋ぐことで、横長のパノラマ画像を得ることができる。この画像処理は、例えばパーソナルコンピュータ上のソフトウェアで行なうことができる。
【0005】
【発明が解決しようとする課題】
ところで、このような撮影方法でパノラマ画像を得ようとする場合、実際には、カメラをかなりゆっくり移動させる必要がある。すなわち、例えば水平画素数が640個の画像を、フィールド単位で5%の移動率(フィールド間の重複率では、95%)で右に移動させた場合には、1/60秒で32画素分移動することになる。このとき、シャッター速度が1/120秒ならば、フィールド毎に16画素分のブレを生じ、解像度を著しく損なってしまう。
【0006】
ブレを最小限に抑えることで、この解像度の低下を避けることができる。しかしながら、上述の撮影条件で、例えばブレを1画素以内に抑えようとした場合、シャッター速度を16倍速くして1/1920秒以下にするか、移動率を1/16の0.3%以下にしてゆっくり移動させ撮影を行なう方法が考えられる。
【0007】
これらの方法のうち、シャッター速度を速くすると感度が低下するため、かなり明るい被写体でないと撮影された画像が暗くなってしまい、使用に耐えないという問題点がある。また、移動率を0.3%/フィールドで撮影すると、水平画角40°ppの標準レンズでも360°のパノラマ画像を撮影するために、48秒もの時間がかかってしまうという問題点がある。
【0008】
撮影に要する時間tは、以下のようにして求めることができる。レンズの水平画角をah〔deg pp〕,CCDの水平画素数をnhとすると、1画素の角度ap〔deg〕は、
ap=ah/nh
となる。
【0009】
ここで、シャッターが開いている時間ts〔sec〕にne(=1)画素移動しても良いと仮定する。すなわち、水平方向に1画素分のブレを許すとする。この場合、1フィールド期間tf〔sec〕に移動しても良い角度af〔deg〕は、
af=ne×ap×tf/ts
となる。但し、ts≦1/60とする。
【0010】
ここで得られた角度afに基づき、1秒間に移動する角度a〔deg〕を求めると、
a=af/tf
となり、360°の変化に要する時間tは、
t=360/a
となる。これまでの式を整理すると、
t=360×ts×nh/(ah×ne)
となる。
【0011】
このとき、1フィールドの期間に移動する角度afの、画角ahに対する割合を移動率Km〔%/フィールド〕とすれば、
Km=af/ah=ne×tf/(nh×ts)
となる。したがって、重複率K〔%/フィールド〕は、
K=1−Km
として求められる。
【0012】
図4Aおよび図4Bは、このようにして求められた各値を一覧して示す。なお、この一覧において、水平画素数nh=640,ブレの許容画素数ne=1,フィールド周期tf=16.666〔msec〕として計算が行なわれている。
【0013】
この図4Aおよび図4Bによると、例えば水平画角20°ppでシャッター速度1/100〔sec〕で360°パノラマ撮影を行なう場合には、115秒(凡そ2分)かけないとブレが1画素を越えてしまい、解像度を損ねてしまうことになる。然も、このときの移動率Kmは、0.26%〔%/フィールド〕,重複率Kは、99.7%となる。このように、パノラマ撮影時にカメラを連続的に移動させて撮影するだけでは、非常に無駄な部分の多い撮影を行なわなければならないという問題点があった。
【0014】
したがって、この発明の目的は、記録される画像の重複部分が少なく、高解像度で、然もシャッター速度を速くすること無くパノラマ撮影を行なうことができるカメラ一体型ビデオレコーダおよび撮影方法を提供することにある。
【0015】
【課題を解決するための手段】
この発明は、上述した課題を解決するために、止画の撮影が可能とされたカメラ一体型ビデオレコーダにおいて、カメラの撮影方向の移動を検出する検出手段と、カメラによって撮影された1または複数のフィールド画像を記録媒体に対して記録する記録手段と、検出手段の検出結果に基づき移動の量を累積する累積手段とを備え、累積手段による累積結果が予め設定された値を越えた検出手段の検出結果に基づきカメラの静止を検出し、所定の時間以内に静止が検出されたら記録手段による記録を行なうと共に、累積結果をリセットすることを特徴とするカメラ一体型ビデオレコーダである。
【0016】
また、この発明は、上述した課題を解決するために、重複した領域を撮影することで1枚の静止画を得るようにした撮影方法において、カメラの撮影方向の移動を検出する検出のステップと、カメラによって撮影された1または複数のフィールド画像を記録媒体に対して記録する記録のステップと、検出のステップによる検出結果に基づき移動の量を累積する累積のステップとを備え、累積のステップによる累積結果が予め設定された値を越えた検出のステップの検出結果に基づきカメラの静止を検出し、所定の時間以内に静止が検出されたら記録のステップによる記録を行なうと共に、累積結果をリセットすることを特徴とする撮影方法である
【0017】
上述したように、この発明は、カメラの撮影方向の移動量を検出し、カメラが静止したときに記録媒体に対してフィールド画像データを記録した後に、カメラの移動量を累積し、累積値が所定値以上になったら再びカメラの静止を検出するようにされているために、その都度シャッターを押さなくても、一瞬カメラを静止させるだけで素早く自動的にパノラマ画像の撮影が行なわれる。
【0018】
【発明の実施の形態】
以下、この発明の実施の一形態を、図面を参照しながら説明する。図1は、この発明を適用することができるカメラ一体型ビデオレコーダの構成の一例を示す。図1において、レンズ系1は、アイリス,フォーカス,ズームなどの光学系の調節を行なうことができる。これらの調節は、レンズ系駆動回路16によってそれぞれ制御される。この制御は、後述するシステムコントローラ18の制御に基づき自動で行なわれる。光学系の調節は、これに限らず手動で以て行なうことも可能である。この制御に基づき、レンズ系駆動回路16から制御情報が出力される。この例では、アイリス,フォーカス,ズームのそれぞれの値が出力される。この制御情報は、システムコントローラ18に供給される。
【0019】
レンズ系1を介して被写体画像がCCD(Charge Coupled Device) 2に照射される。照射された被写体画像は、CCD2によって電気信号に変換される。なお、図示しないが、CCD2は、所定の信号処理回路を有し、この変換された電気信号をさらにディジタル画像データに変換して出力する。CCD2の画素数が動画領域の画像サイズに対応する。CCD2からは、フィールドのタイミングで画像データが出力される。
【0020】
CCD2の出力は、スイッチ回路13の端子RECに供給されると共に、圧縮符号化回路3に供給される。圧縮符号化回路3に対して動き検出回路5が接続される。この動き検出回路5は、時系列的に隣接するフィールド画像データを比較することで動きベクトルを求め、それによりフィールド画像データの動き検出を行なう。圧縮符号化回路3では、この動きベクトルならびにDCT(Discrete Cosine Transform) などを用いて、供給されたフィールド画像データの圧縮符号化を行なう。圧縮符号化の方式としては、MPEG(Moving Picture Experts Group)2を用いることができる。
【0021】
動き検出回路5の出力は、平均値算出回路22に供給され、フィールド全体の動きベクトルの平均値が算出される。この動きベクトルの平均値は、後述する記憶信号処理回路6およびシステムコントローラ18に対して供給される。
【0022】
なお、撮影時(記録時)にスイッチ回路13において端子RECを選択することによって、CCD2で撮影中の画像をビューファインダ14に対して表示させることができる。また、この画像は、ビデオ出力端子15に対して導出させ、外部のビデオモニタなどで表示させることもできる。
【0023】
一方、圧縮符号化回路3で圧縮符号化された画像データは、記録信号処理回路6に供給される。記録信号処理回路6は、エラー訂正符号化回路や記録アンプ,記録方式に適合した変調回路などを有する。画像データは、例えばリード・ソロモン符号を用いた積符号によりエラー訂正符号化され、所定の変調回路および記録アンプなどを介して、記録に適した信号に変換される。
【0024】
記録信号処理回路6には、画像データと共に、上述のレンズ系駆動回路16から出力されたレンズ系の制御情報、すなわち、アイリス値,フォーカス値,ズーム値も供給される。さらに、記録信号処理回路6には、動き情報として、上述した動き検出回路5の出力に基づく1フィールドの動きベクトルの平均値が供給される。後述するが、システムコントローラ18から動きベクトルの累積値も記録信号処理回路6に供給される。これらレンズ系の制御情報および動き情報は、フィールド画像データに対するサブコードデータとされる。このサブコードデータは、エラー訂正符号化回路において、画像データと共にエラー訂正符号化が行なわれる。
【0025】
これらのデータを記録する記録媒体8としては、相応の容量を有し、ディジタル信号を記録可能な記録媒体であれば、様々な種類のものについて適用させることができる。例えば、MD(Mini Disc) などの光磁気ディスク,DVD(Digital Versatile Disc),半導体メモリ,ハードディスクといった記録媒体を用いることができる。勿論、磁気テープをこの記録媒体8として用いることも可能である。
【0026】
記録媒体8としてMDを用いた場合、画像データおよびサブコードデータからなる記録データは、記録信号処理回路6において、例えばEFM(Eight to Fourteen Modulation)により変調が施され、図示されない磁気ヘッド駆動回路に供給される。そして、磁気ヘッド駆動回路では、変調処理された記録データに応じて、図示されない磁気ヘッドに対して磁気ヘッド駆動信号を供給する。つまり、MDに対して磁気ヘッドによるNまたはSの磁界印加を実行させる。また、このとき、図示されない光学ヘッドによって、記録レベルのレーザ光が出力される。レーザ光の制御は、例えば、後述するシステムコントローラ18によって行なうことができる。
【0027】
また、記録媒体8として磁気テープを用いた場合、記録信号処理回路6の出力が図示されない記録ヘッドに供給され、例えばヘリカルスキャン方式で以て磁気テープからなる記録媒体8に記録される。再生は、同様にして、図示されない再生ヘッドによって記録媒体8に記録された信号が読み出されることによってなされる。読み出された信号が再生信号処理回路10に供給される。
【0028】
再生信号処理回路10は、再生アンプ,記録方式に対応した復調回路,エラー訂正回路などを有する。記録媒体8から再生された信号は、再生アンプなどを介してディジタル処理に適した信号に変換され、エラー訂正回路に供給される。エラー訂正回路で記録時に施されたエラー訂正符号が復号化される。復号化されたデータが伸長回路12に供給され、記録時の圧縮符号化を解かれ、再生画像データとされ出力される。伸長回路12の出力がスイッチ回路13の端子PBに供給される。
【0029】
なお、再生信号処理回路10の出力から、上述のサブコードデータだけを取り出すことができる。取り出されたサブコードデータは、データ出力端11に導出される。
【0030】
再生時には、このスイッチ回路13において端子PBが選択され、再生画像データがビデオ出力端子15に対して導出される。また、それと共に、再生画像データは、ビューファインダ14に供給される。再生時にスイッチ回路13で端子PBを選択することによって、記録媒体8からの再生画像をビューファインダ14に表示させることができる。
【0031】
なお、システムコントローラ18は、CPUおよびRAMやROMなどから構成され、このカメラ一体型ビデオレコーダの動作を制御する。キー入力部19には、このカメラ一体型ビデオレコーダの種々の設定を行なうスイッチと共に、パノラマ撮影のON/OFFを切り替えるためのスイッチが設けられる。また、キー入力部19には、撮影の開始および終了を指示するためのスタート/ストップキーが設けられる。スタート/ストップキーは、押されることによって撮影が開始され、押されている間は撮影が続行される。キーを離すことで、撮影が中断または終了される。
【0032】
これら各種設定キーによる設定情報がキー入力部19からシステムコントローラ18に対して供給され、例えばRAMに記憶される。また、このシステムコントローラ18は、図示しないが、所定の時間を設定することが可能なタイマを有する。
【0033】
さらに、上述したように、システムコントローラ18に対して、平均値算出回路22から出力された動きベクトルの平均値が供給される。これは、現フィールドが前フィールドに対してどれだけ動いたかを示す値であり、例えば水平方向および垂直方向の移動量xおよびyからなる。これら動きベクトルx,yの値がシステムコントローラ18内のRAMに記憶されると共に、累積され、それぞれ累積値axおよびayとされる。これら累積値ax,ayは、RAMに記憶される。RAMに記憶されたこれら累積値ax,ayは、システムコントローラ18による所定の命令でax=0,ay=0とされ、リセットされる。上述したように、これら累積値ax,ayは、記録信号処理回路6に供給され、サブコードデータとされる。
【0034】
このカメラ一体型ビデオレコーダに対して、例えばジャイロセンサからなる角速度センサ20が設けられる。この角速度センサ20には、カメラ一体型ビデオレコーダに搭載されている、所謂手振れ防止機能のためのセンサを用いることができる。角速度センサ20の出力を積分回路21で積分して動き情報を得る。この動き情報は、システムコントローラ18に対して供給される。
【0035】
角速度センサ20の出力を動き情報として用いることで、平坦な被写体を撮影する際や、画像や暗がりでの撮影時などのような、動き検出回路5がうまく働かないような場合でも、撮影画像の相対的な位置を知ることができる。なお、この角速度センサ20ならびに積分回路21は、省略可能である。同様に、角速度センサ20による出力だけを用いて相対位置を求めることも可能である。この場合、動き検出回路5および平均値算出回路22は、省略可能である。
【0036】
この図1に示される例において、動き検出回路5からの出力と角速度センサ20からの出力とを適宜切り替えるようにすることも可能である。すなわち、被写体の平坦部分などで動き検出回路5による動きベクトルが正しく得られない場合には、角速度センサ20の出力に基づく動き情報を使用し、動き検出回路5によって正しく動き情報が得られる場合には、より精度の高い、動き検出回路5の出力を使用する。また、これに限らず、例えば画像データのパターン検出を行なうことで、自動切り替えとすることも可能である。
【0037】
なお、このように撮影され記録されたフィールド画像データは、再生され、所定の画像処理を行なうための機器、例えば対応する画像処理ソフトウェアが搭載されたパーソナルコンピュータに供給される。また、このフィールド画像データの供給と共に、データ出力端11からサブコードデータが出力される。このサブコードデータも、フィールド画像データと共に、パーソナルコンピュータに対して供給される。供給されたフィールド画像データに対して、画像処理ソフトウェアによってシームレスな合成処理が行なわれ、パノラマ画像を得ることができる。このとき、サブコードデータとして供給された、動き情報やズーム,アイリス,フォーカスといった各種撮影情報などを用いることで、より精度の高い合成処理を行なうことができる。
【0038】
例えば、サブコードデータに含まれる動き情報に基づき各フィールドの画像データの位置関係を知ることができる。これにより、各フィールド画像データ間の重複部分が求められ、この重複部分に対して所定の演算を行なうことによって、各フィールド画像データの合成を自動的に行なうことができる。また、サブコードデータに含まれる、ズーム,アイリス,フォーカスといった光学系の各種情報に基づき、画像補正を行ない、各フィールド画像データを均質にした上での静止画の合成を、自動的に行なうことが可能とされる。
【0039】
例えば、ズーム情報に基づき、フィールド画像データの平面への変換や、円筒面,球面への変換を確実に行なうことができる。また、アイリス情報に基づき、各フィールド画像データの明度補正を確実に行なうことができる。さらに、同じ撮影領域内でもフォーカスの異なるフィールド画像データが得られることがある。フォーカス情報に基づき、最も鮮明なフィールド画像データを画素単位で選択することが可能とされ、これにより焦点深度の深い画像を得ることができる。
【0040】
このような構成を有するカメラ一体型ビデオレコーダを用いて、撮影者は、キー入力部19に設けられた、パノラマ撮影ON/OFFの設定スイッチをONとして、スタート/ストップキーを押すことにより、パノラマ撮影を開始する。そして、レンズ系1を被写体の一部に向けて一瞬静止し、次に例えば50%重複した2番目の部分に向けて一瞬静止し、この動作を繰り返して被写体の前部を複数の画像に分けて記録する。この記録は、後述するアルゴリズムに基づき、カメラの動きに合わせて自動的に行なわれる。記録されたフィールド画像データを再生して、例えば上述したような所定の画像処理ソフトウェアが搭載されたパーソナルコンピュータに転送して、シームレス処理を行なうことで、1枚のパノラマ画像を完成させることができる。
【0041】
次に、このような撮影を行なう際のアルゴリズムについて説明する。図2は、この発明によるパノラマ画像撮影の原理的なアルゴリズムを示す。このアルゴリズムは、動き検出回路5から出力され平均値算出回路22で算出された動きベクトルのフィールド内での平均値に基づき、システムコントローラ18で実行される。また、以下では、これら動きベクトルのフィールド内の平均値を「動きベクトル」と略称する。
【0042】
撮影が開始されると、CCD2から出力されたフィールド画像データが圧縮符号化回路3を介して記録信号処理回路6に供給されると共に、動き検出回路5および平均値算出回路22で動きベクトルが検出される。最初のステップS1で、動きベクトルが所定値(nとする)以下になるまで待ち、カメラが静止するのが待たれる。動きベクトルが所定値n以下となり、静止したとされたら、記録信号処理回路6において所定の信号処理がなされ、記録媒体8に対してそのフレームが記録される(ステップS2)。このとき、記録は、1フレームに限らず、複数フレームを記録するようにしてもよい。なお、フレームの記録と共に、サブコードも記録される。
【0043】
なお、ステップS1で、カメラの静止が認識されたら、何らかの方法で、撮影者にその旨を通知すると良い。この通知は、例えばシステムコントローラ18で生成された所定のメッセージ(「次へ」など)がビューファインダ14内に表示されることによってなされる。また、この表示に限らず、このカメラ一体型ビデオレコーダに対して例えばビープ音を発生させるような発音装置を設け(図示しない)、音によって通知するようにしてもよい。勿論、表示と音とを併用してもよいし、これらを切り替えるようにもできる。
【0044】
ステップS2でフィールド画像データの記録がなされると、ステップS3で、水平および垂直方向の動きベクトルの累積値ax,ayがそれぞれ初期化され、ax=0,ay=0とされる。そして、次のステップS4で、水平方向の動きベクトルと垂直方向の動きベクトルとがそれぞれ初期化された値から累積され、ax,ayとされる。なお、ここでは、この動きベクトルの累積がステップS4で開始されるものとして説明されているが、実際には、撮影が開始されると同時に動きベクトルの累積も開始される。
【0045】
ステップS5で、この累積された動きベクトルax,ayが予め設定された所定値mと比較される。所定値mは、例えばフレームの20%とされる。累積動きベクトルax,ayの何れか一方がこのmを越えるまで、動きベクトルの累積は継続される。すなわち、カメラがある程度移動するのが待たれる。若し、累積動きベクトルax,ayの何れか一方がこのmを越えたなら、処理はステップS6に移行し、1枚のパノラマ画像の撮影が終了するまで上述のステップS1〜ステップS5までの処理が繰り返される。キー入力部19に設けられたスタート/ストップキーが離されることで、撮影が終了される。
【0046】
この発明では、カメラの移動と静止を繰り返しながら、カメラが静止している部分の静止画を間欠的に記録していく。この記録されたフィールド画像データを再生し、所定の画像処理を加えることで、1枚のパノラマ画像を得ることができる。
【0047】
ところで、図2に示されるアルゴリズムでは、ステップS1において、カメラの静止を認識するための所定値nを十分小さくできない。すなわち、このアルゴリズムにおいて所定値nを小さくしてしまうと、撮影者の手振れなどで原因でステップS2に移行できない可能性があるからである。また、所定値nが大きいと、十分な高画質を得ることができない。
【0048】
図3は、図2のアルゴリズムを改良したアルゴリズムを示す。これは、基本的には上述の図2に示したものに倣っているが、ステップS1における処理に経過時間による判定が加わる。撮影が開始されると、CCD2から出力されたフィールド画像データが圧縮符号化回路3を介して記録信号処理回路6に供給されると共に、動き検出回路5および平均値算出回路22で動きベクトルが検出される。最初のステップS10で、動きベクトルが所定値(nとする)以下になるまで待つと共に、フィールド画像データが例えば圧縮符号化回路3が有するフレームメモリの所定領域に書き込まれる。また、そのフィールド画像データに対応する動きベクトルの値が所定のメモリ、例えばシステムコントローラ18が有するRAMに対して書き込まれる。
【0049】
このとき、既にフレームメモリに書き込まれているフィールド画像データの動きベクトルと、新規に書き込まれるフィールド画像データの動きベクトルとが比較される。そして、比較の結果、動きベクトルの値が小さい方のフィールド画像データがフレームメモリの所定領域に書き込まれる。また、それと共に、そのフィールド画像データの動きベクトルの値がRAMに書き込まれる。したがって、フレームメモリの所定領域に書き込まれるフィールド画像データは、動きベクトルのより小さいデータに更新されていく。
【0050】
次のステップS11で、予め設定された時間tl以内に、水平方向および垂直方向の何れかの動きベクトルが所定値n以下になったかどうかが判断される。若し、所定値n以下になたと判断されたら、処理はステップS12に移行し、そのフレームが記録される。なお、時間tlは、システムコントローラ18が有するタイマに対して予め設定される。
【0051】
一方、ステップS11において、時間tlを経過しても動きベクトルが所定値n以下にならなかったと判断されたら、処理はステップS13に移行し、上述した、動きベクトルがより小さいとしてフレームメモリの所定領域に書き込まれたフィールド画像データが読み出され、所定の信号処理を施され記録される。
【0052】
なお、ステップS12およびS13で、フィールド画像データの記録が行なわれたら、上述したような、ビューファインダ14内に表示される所定のメッセージやビープ音などで、撮影者にその旨を通知すると良い。また、ここでも、図2で上述したように、1フレームに限らず、複数フレームを記録するようにしてもよい。
【0053】
ステップS12あるいはS13でフィールド画像データの記録がなされると、ステップ143で、水平および垂直方向の動きベクトルの累積値ax,ayがそれぞれ初期化され、ax=0,ay=0とされる。そして、次のステップS15で、水平方向の動きベクトルと垂直方向の動きベクトルとがそれぞれ累積され、ax,ayとされる。
【0054】
ステップS16で、この累積された動きベクトルax,ayが予め設定された所定値mと比較される。累積動きベクトルax,ayの何れか一方がこのmを越えるまで、動きベクトルの累積は継続される。すなわち、カメラがある程度移動するのが待たれる。若し、累積動きベクトルax,ayの何れか一方がこのmを越えたなら、処理はステップS17に移行し、1枚のパノラマ画像の撮影が終了するまで上述のステップS10〜ステップS16までの処理が繰り返される。
【0055】
なお、サブコードデータとして、以下の情報が含まれていると、パノラマ画像作成の際のシームレス処理の際に有用である。レンズ系1に関する情報としては、
(1)ズーム倍率あるいは水平画角
(2)フィールドあるいはフレームのアスペクト比
(3)オートフォーカス値
(4)オートアイリス値
(5)角速度センサ20による、光軸の方向を示す情報
(6)レンズ系1に対して光軸可変素子が設けられている場合、この光軸可変素子の方向を示す情報
これらの情報が挙げられる。
【0056】
また、圧縮符号化の際の動き検出データも、有用である。これには、
(1) 上下左右の平均的な移動量
(2) 画像平面内での回転(回転角)
(3) 画像の拡大率
などが挙げられる。これらのうち、画像の拡大率については、被写体との角度の関係により、横方向の倍率に関して、画面上部と画面下部とで倍率が異なる場合がある。同様に、縦方向の倍率に関して、画面左部と画面右部とで倍率が異なる場合がある。これらの、動き検出データは、圧縮符号化時の大量の動き検出データから得られる僅かな量のデータであり、これを圧縮データに含めて記録することができる。
【0057】
さらに、撮影時刻をサブコードデータとして含めると良い。これは、上述のアルゴリズムに基づく撮影では、フレーム周期が一定とならないからである。
【0058】
なお、上述では、カメラの移動に対して撮影が自動的に行なわれるように説明されているが、これはこの例に限定されずに、カメラの移動毎に手動で撮影を行なうことも、同様の処理により可能である。この場合、先ず、被写体の一部に対してカメラが向けられ、スタート/ストップキーが押された後、離される。すると、キーが押されている間の最も動きの小さいとされたフレーム画像が記録される。次に、直前に撮影された撮影範囲に対して、画像処理によって合成可能な範囲、例えば50%が重複するようにカメラが移動され、静止される。そこで、再びキーが押され、離される。この、カメラの移動および撮影を繰り返すことで、被写体の全体を撮影する。この撮影方法によれば、移動中には記録が行なわれないため、パノラマ撮影を行なう際に記録媒体8に対する無駄な記録を行なわなくても済む利点がある。
【0059】
上述の図2および図3に示したアルゴリズムを応用することで、このような撮影方法が可能とされる。例えば、図2に示されるアルゴリズムでは、ステップS1およびステップS2が実行され、記録がなされる。記録と同時に、累積された動きベクトルがリセットされる。そして、スタート/ストップキーが離され撮影が中止された後に、再びスタート/ストップキーが押され撮影が開始されると、再度、ステップS1からの処理が開始される。これは、図3に示されるアルゴリズムに対しても、同様に対応させることができる。
【0060】
【発明の効果】
以上説明したように、この発明によれば、圧縮符号化の際に用いられる動きベクトルを監視することで、カメラが静止していることをシステムが認識するようにされているため、パノラマ画像を素早く撮影することができるという効果がある。
【0061】
また、同様に、カメラが静止していることを認識してから記録がなされるため、シャッター速度を速くしなくても済み、暗い被写体を容易に撮影することができる効果がある。
【0062】
さらに、一々シャッターを押さなくても、カメラを一瞬静止させるだけで自動的に記録が行なわれるようにされているため、非常に楽にパノラマ画像の撮影を行なうことができる効果がある。
【図面の簡単な説明】
【図1】この発明を適用することができるカメラ一体型ビデオレコーダの構成の一例を示すブロック図である。
【図2】この発明によるパノラマ画像撮影の原理的なアルゴリズムである。
【図3】この発明によるパノラマ画像撮影の改良されたアルゴリズムである。
【図4】手振れを少なくするようにパノラマ画像の撮影を行なった際の、撮影に要する時間および移動率,重複率を計算した結果を示す略線図である。
【符号の説明】
2・・・CCD、3・・・圧縮符号化回路、5・・・動き検出回路、6・・・記録信号処理回路、11・・・データ出力端、14・・・ビューファインダ、16・・・レンズ系駆動回路、18・・・システムコントローラ、19・・・キー入力部、20・・・角速度センサ、22・・・平均値算出回路
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera-integrated video recorder and a photographing method configured to photograph a plurality of still images so that panoramic images can be synthesized.
[0002]
[Prior art]
In a digital camera-integrated video tape recorder, for example, a CCD is used as an image sensor, and a video signal obtained by shooting a moving image is recorded on a magnetic tape as digital video data. In such a camera-integrated video tape recorder, it is conceivable to record a plurality of field images while slowly moving the shooting area vertically and horizontally, and to synthesize the recorded field images. Thereby, it is possible to obtain a still image having a wider area range than an image of one field at the time of moving image shooting.
[0003]
That is, recording is performed by moving the shooting area little by little so that field images can be obtained continuously from the shooting start point. Then, for the recorded field image, the overlapping portion of the field image adjacent in position is extracted, and by performing a predetermined calculation on the overlapping portion, each field image is seamlessly combined, Image processing is performed so as to obtain one still image as a whole. Such image processing is performed by software processing by a personal computer, for example.
[0004]
By applying such a photographing method, a panoramic image can be obtained with a camera-integrated video tape recorder. The photographer takes a picture while moving the camera in the horizontal direction. For example, 360 degrees around the photographer are continuously photographed. A horizontally long panoramic image can be obtained by connecting the obtained images for each field while applying appropriate processing to overlapping portions. This image processing can be performed by software on a personal computer, for example.
[0005]
[Problems to be solved by the invention]
By the way, in order to obtain a panoramic image by such a photographing method, it is actually necessary to move the camera quite slowly. That is, for example, when an image having 640 horizontal pixels is moved to the right with a movement rate of 5% in a field unit (95% in the overlap rate between fields), it is 32 pixels in 1/60 seconds. Will move. At this time, if the shutter speed is 1/120 seconds, a blur of 16 pixels occurs for each field, and the resolution is significantly impaired.
[0006]
This reduction in resolution can be avoided by minimizing blurring. However, under the above-described shooting conditions, for example, when blurring is to be suppressed within one pixel, the shutter speed is increased 16 times to 1/1920 seconds or less, or the movement rate is set to 1/16 or less 0.3%. It is possible to move slowly and shoot.
[0007]
Among these methods, if the shutter speed is increased, the sensitivity is lowered. Therefore, if the subject is not a very bright subject, the photographed image becomes dark and cannot be used. Further, if the movement rate is taken at 0.3% / field, it takes 48 seconds to take a 360 ° panoramic image even with a standard lens with a horizontal angle of view of 40 ° pp.
[0008]
The time t required for shooting can be obtained as follows. If the horizontal field angle of the lens is ah [deg pp] and the number of horizontal pixels of the CCD is nh, the angle ap [deg] of one pixel is
ap = ah / nh
It becomes.
[0009]
Here, it is assumed that ne (= 1) pixels may be moved at the time ts [sec] when the shutter is open. That is, it is assumed that the blur for one pixel is allowed in the horizontal direction. In this case, the angle af [deg] that may move in one field period tf [sec] is
af = ne × ap × tf / ts
It becomes. However, ts ≦ 1/60.
[0010]
Based on the angle af obtained here, the angle a [deg] that moves in 1 second is obtained.
a = af / tf
And the time t required for the change of 360 ° is
t = 360 / a
It becomes. Organizing the previous formulas,
t = 360 × ts × nh / (ah × ne)
It becomes.
[0011]
At this time, if the ratio of the angle af that moves during the period of one field to the angle of view ah is the movement rate Km [% / field],
Km = af / ah = ne × tf / (nh × ts)
It becomes. Therefore, the overlap rate K [% / field] is
K = 1-Km
As required.
[0012]
FIG. 4A and FIG. 4B list and show each value calculated | required in this way. In this list, calculation is performed with the number of horizontal pixels nh = 640, the allowable number of pixels ne = 1, and the field period tf = 16.666 [msec].
[0013]
According to FIGS. 4A and 4B, for example, when 360 ° panoramic shooting is performed at a horizontal angle of view of 20 ° pp and a shutter speed of 1/100 [sec], a blur of 1 pixel is required unless it takes 115 seconds (approximately 2 minutes). The resolution will be lost. However, the movement rate Km at this time is 0.26% [% / field], and the overlap rate K is 99.7%. As described above, there is a problem that it is necessary to perform shooting with a lot of useless parts only by moving the camera continuously during panoramic shooting.
[0014]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a camera-integrated video recorder and a photographing method capable of performing panoramic photographing with few overlapping portions of recorded images, high resolution, and without increasing the shutter speed. It is in.
[0015]
[Means for Solving the Problems]
  In order to solve the above-described problems, the present inventionStillnessIn a camera-integrated video recorder capable of capturing a still image, a detecting unit for detecting movement in the shooting direction of the camera, and a recording unit for recording one or a plurality of field images shot by the camera on a recording medium And accumulating means for accumulating the amount of movement based on the detection result of the detecting means, and the accumulating result by the accumulating means exceeds a preset valueEtBased on the detection result of the detection means, the camera stillness is detected,Within a predetermined timeRecording by recording means when stillness is detectedThe lineAt the same time, the camera-integrated video recorder is characterized in that the accumulated result is reset.
[0016]
  According to another aspect of the present invention, there is provided a detection method for detecting movement of a camera in a shooting direction in a shooting method in which a single still image is obtained by shooting overlapping areas in order to solve the above-described problem. A recording step of recording one or a plurality of field images photographed by the camera on a recording medium, and a cumulative step of accumulating the amount of movement based on the detection result of the detection step. Cumulative result exceeds preset valueEtBased on the detection result of the detection step, the camera stillness is detected,Within a predetermined timeRecording by step of recording when stillness is detectedThe lineThe shooting method is characterized in that the accumulated result is reset along with the answer..
[0017]
As described above, the present invention detects the moving amount of the camera in the shooting direction, records the field image data on the recording medium when the camera is stationary, accumulates the moving amount of the camera, and the accumulated value is Since the camera still is detected again when the value exceeds a predetermined value, a panoramic image can be automatically and quickly captured just by stopping the camera for a moment without pressing the shutter each time.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an example of the configuration of a camera-integrated video recorder to which the present invention can be applied. In FIG. 1, the lens system 1 can adjust optical systems such as iris, focus, and zoom. These adjustments are controlled by the lens system driving circuit 16, respectively. This control is automatically performed based on the control of the system controller 18 described later. The adjustment of the optical system is not limited to this, and can be performed manually. Based on this control, control information is output from the lens system driving circuit 16. In this example, the values of iris, focus, and zoom are output. This control information is supplied to the system controller 18.
[0019]
A subject image is irradiated to a CCD (Charge Coupled Device) 2 through the lens system 1. The irradiated subject image is converted into an electrical signal by the CCD 2. Although not shown, the CCD 2 has a predetermined signal processing circuit, and further converts the converted electric signal into digital image data and outputs it. The number of pixels of the CCD 2 corresponds to the image size of the moving image area. Image data is output from the CCD 2 at field timing.
[0020]
The output of the CCD 2 is supplied to the terminal REC of the switch circuit 13 and is also supplied to the compression encoding circuit 3. A motion detection circuit 5 is connected to the compression encoding circuit 3. The motion detection circuit 5 obtains a motion vector by comparing adjacent field image data in time series, and thereby performs motion detection of the field image data. The compression coding circuit 3 performs compression coding of the supplied field image data using the motion vector and DCT (Discrete Cosine Transform). MPEG (Moving Picture Experts Group) 2 can be used as a compression encoding method.
[0021]
The output of the motion detection circuit 5 is supplied to the average value calculation circuit 22, and the average value of the motion vectors of the entire field is calculated. The average value of the motion vector is supplied to a storage signal processing circuit 6 and a system controller 18 which will be described later.
[0022]
Note that an image being photographed by the CCD 2 can be displayed on the viewfinder 14 by selecting the terminal REC in the switch circuit 13 during photographing (recording). Also, this image can be derived to the video output terminal 15 and displayed on an external video monitor or the like.
[0023]
On the other hand, the image data compressed and encoded by the compression encoding circuit 3 is supplied to the recording signal processing circuit 6. The recording signal processing circuit 6 includes an error correction encoding circuit, a recording amplifier, a modulation circuit suitable for the recording method, and the like. The image data is error-correction encoded by a product code using, for example, a Reed-Solomon code, and converted into a signal suitable for recording via a predetermined modulation circuit and recording amplifier.
[0024]
The recording signal processing circuit 6 is supplied with the lens system control information output from the lens system driving circuit 16, that is, the iris value, the focus value, and the zoom value, together with the image data. Further, the recording signal processing circuit 6 is supplied with an average value of motion vectors of one field based on the output of the motion detection circuit 5 described above as motion information. As will be described later, the accumulated value of the motion vector is also supplied from the system controller 18 to the recording signal processing circuit 6. These lens system control information and motion information are sub-code data for field image data. This subcode data is subjected to error correction coding together with image data in an error correction coding circuit.
[0025]
As the recording medium 8 for recording these data, various types of recording media can be applied as long as they have a suitable capacity and can record digital signals. For example, a magneto-optical disk such as MD (Mini Disc), a recording medium such as a DVD (Digital Versatile Disc), a semiconductor memory, and a hard disk can be used. Of course, a magnetic tape can be used as the recording medium 8.
[0026]
When MD is used as the recording medium 8, the recording data composed of the image data and the subcode data is modulated in the recording signal processing circuit 6 by, for example, EFM (Eight to Fourteen Modulation), and applied to a magnetic head driving circuit (not shown). Supplied. The magnetic head drive circuit supplies a magnetic head drive signal to a magnetic head (not shown) in accordance with the modulated recording data. That is, N or S magnetic field application by the magnetic head is executed on the MD. At this time, a recording level laser beam is output by an optical head (not shown). The laser beam can be controlled by, for example, a system controller 18 described later.
[0027]
When a magnetic tape is used as the recording medium 8, the output of the recording signal processing circuit 6 is supplied to a recording head (not shown) and recorded on the recording medium 8 made of a magnetic tape by, for example, a helical scan method. Similarly, reproduction is performed by reading a signal recorded on the recording medium 8 by a reproducing head (not shown). The read signal is supplied to the reproduction signal processing circuit 10.
[0028]
The reproduction signal processing circuit 10 includes a reproduction amplifier, a demodulation circuit corresponding to a recording method, an error correction circuit, and the like. A signal reproduced from the recording medium 8 is converted into a signal suitable for digital processing via a reproduction amplifier or the like and supplied to an error correction circuit. The error correction code applied at the time of recording is decoded by the error correction circuit. The decoded data is supplied to the decompression circuit 12, the compression encoding at the time of recording is released, and the reproduced image data is output. The output of the decompression circuit 12 is supplied to the terminal PB of the switch circuit 13.
[0029]
Note that only the above-described subcode data can be extracted from the output of the reproduction signal processing circuit 10. The extracted subcode data is led to the data output terminal 11.
[0030]
At the time of reproduction, the switch circuit 13 selects the terminal PB, and reproduced image data is derived to the video output terminal 15. At the same time, the reproduced image data is supplied to the viewfinder 14. By selecting the terminal PB with the switch circuit 13 at the time of reproduction, the reproduced image from the recording medium 8 can be displayed on the viewfinder 14.
[0031]
The system controller 18 includes a CPU, a RAM, a ROM, and the like, and controls the operation of the camera-integrated video recorder. The key input unit 19 is provided with a switch for making various settings of the camera-integrated video recorder and a switch for switching on / off of panoramic shooting. The key input unit 19 is provided with a start / stop key for instructing start and end of photographing. Shooting starts when the start / stop key is pressed, and shooting continues while the key is pressed. Shooting is interrupted or terminated by releasing the key.
[0032]
Setting information by these various setting keys is supplied from the key input unit 19 to the system controller 18 and stored in, for example, a RAM. The system controller 18 has a timer (not shown) that can set a predetermined time.
[0033]
Further, as described above, the average value of the motion vectors output from the average value calculation circuit 22 is supplied to the system controller 18. This is a value indicating how much the current field has moved with respect to the previous field, and includes, for example, movement amounts x and y in the horizontal and vertical directions. The values of these motion vectors x and y are stored in the RAM in the system controller 18 and are accumulated to be accumulated values ax and ay, respectively. These accumulated values ax and ay are stored in the RAM. These accumulated values ax and ay stored in the RAM are set to ax = 0 and ay = 0 by a predetermined instruction by the system controller 18 and are reset. As described above, the accumulated values ax and ay are supplied to the recording signal processing circuit 6 to be subcode data.
[0034]
For this camera-integrated video recorder, it consists of a gyro sensor, for example.Angular velocityA degree sensor 20 is provided. thisAngular velocityAs the degree sensor 20, a sensor for a so-called camera shake prevention function mounted on a camera-integrated video recorder can be used.Angular velocityThe output of the degree sensor 20 is integrated by an integrating circuit 21 to obtain motion information. This motion information is supplied to the system controller 18.
[0035]
Angular velocityBy using the output of the degree sensor 20 as motion information, even when the motion detection circuit 5 does not work well, such as when shooting a flat subject or when shooting in an image or darkness, You can know the relative position. In addition, thisAngular velocityThe degree sensor 20 and the integration circuit 21 can be omitted. Similarly,Angular velocityIt is also possible to obtain the relative position using only the output from the degree sensor 20. In this case, the motion detection circuit 5 and the average value calculation circuit 22 can be omitted.
[0036]
In the example shown in FIG. 1, the output from the motion detection circuit 5 andAngular velocityIt is also possible to switch the output from the degree sensor 20 as appropriate. That is, when the motion vector by the motion detection circuit 5 cannot be obtained correctly on a flat part of the subject,Angular velocityWhen the motion information based on the output of the degree sensor 20 is used and the motion information can be obtained correctly by the motion detection circuit 5, the output of the motion detection circuit 5 with higher accuracy is used. Further, the present invention is not limited to this, and automatic switching can also be performed by, for example, performing pattern detection of image data.
[0037]
The field image data shot and recorded in this way is reproduced and supplied to a device for performing predetermined image processing, for example, a personal computer equipped with corresponding image processing software. Further, along with the supply of the field image data, the subcode data is output from the data output terminal 11. This subcode data is also supplied to the personal computer together with the field image data. The supplied field image data is seamlessly combined by image processing software, and a panoramic image can be obtained. At this time, by using motion information and various types of shooting information such as zoom, iris, and focus supplied as subcode data, a more accurate composition process can be performed.
[0038]
For example, the positional relationship of the image data in each field can be known based on the motion information included in the subcode data. Thereby, an overlapping portion between the field image data is obtained, and the field image data can be automatically synthesized by performing a predetermined calculation on the overlapping portion. In addition, based on various information of the optical system such as zoom, iris, and focus included in the subcode data, image correction is performed, and each field image data is homogenized, and a still image is automatically synthesized. Is possible.
[0039]
For example, conversion of field image data into a plane, or conversion into a cylindrical surface or a spherical surface can be reliably performed based on zoom information. Further, the brightness correction of each field image data can be surely performed based on the iris information. Furthermore, field image data with different focus may be obtained even within the same shooting area. Based on the focus information, it is possible to select the clearest field image data in units of pixels, thereby obtaining an image with a deep depth of focus.
[0040]
Using the camera-integrated video recorder having such a configuration, the photographer turns on the panorama shooting ON / OFF setting switch provided in the key input unit 19 and presses the start / stop key to panorama. Start shooting. Then, the lens system 1 is stopped for a moment toward a part of the subject, and then for a moment, for example, toward the second portion that overlaps by 50%. This operation is repeated to divide the front of the subject into a plurality of images. Record. This recording is automatically performed according to the movement of the camera based on an algorithm described later. The recorded field image data is reproduced and transferred to, for example, a personal computer on which predetermined image processing software as described above is installed, and seamless processing is performed, thereby completing one panoramic image. .
[0041]
Next, an algorithm for performing such shooting will be described. FIG. 2 shows a principle algorithm of panoramic image shooting according to the present invention. This algorithm is executed by the system controller 18 based on the average value in the field of the motion vector output from the motion detection circuit 5 and calculated by the average value calculation circuit 22. In the following, the average value in the field of these motion vectors is abbreviated as “motion vector”.
[0042]
When shooting is started, the field image data output from the CCD 2 is supplied to the recording signal processing circuit 6 via the compression encoding circuit 3, and the motion vector is detected by the motion detection circuit 5 and the average value calculation circuit 22. Is done. In the first step S1, the process waits until the motion vector becomes a predetermined value (n) or less, and waits for the camera to stop. When the motion vector becomes equal to or less than the predetermined value n and is determined to be stationary, the recording signal processing circuit 6 performs predetermined signal processing, and the frame is recorded on the recording medium 8 (step S2). At this time, the recording is not limited to one frame, and a plurality of frames may be recorded. A subcode is recorded along with the recording of the frame.
[0043]
If the camera still is recognized in step S1, the photographer may be notified by some method. This notification is made, for example, by displaying a predetermined message (such as “next”) generated by the system controller 18 in the viewfinder 14. In addition to this display, a sounding device that generates, for example, a beep sound may be provided for this camera-integrated video recorder (not shown), and notification may be made by sound. Of course, display and sound may be used together, or these may be switched.
[0044]
When field image data is recorded in step S2, the horizontal and vertical motion vector accumulation values ax and ay are initialized in step S3, and ax = 0 and ay = 0. In the next step S4, the horizontal motion vector and the vertical motion vector are accumulated from the initialized values, and are set to ax, ay. Here, although it has been described that the accumulation of motion vectors is started in step S4, actually, the accumulation of motion vectors is started simultaneously with the start of imaging.
[0045]
In step S5, the accumulated motion vectors ax and ay are compared with a predetermined value m set in advance. The predetermined value m is, for example, 20% of the frame. The accumulation of motion vectors is continued until either one of the accumulated motion vectors ax, ay exceeds m. That is, it is waited for the camera to move to some extent. If any one of the accumulated motion vectors ax and ay exceeds m, the process proceeds to step S6, and the processes from step S1 to step S5 described above are performed until one panoramic image is shot. Is repeated. When the start / stop key provided in the key input unit 19 is released, shooting is completed.
[0046]
In the present invention, the still image of the portion where the camera is stationary is intermittently recorded while repeating the movement and stillness of the camera. By reproducing the recorded field image data and applying predetermined image processing, one panoramic image can be obtained.
[0047]
By the way, in the algorithm shown in FIG. 2, the predetermined value n for recognizing camera stillness cannot be made sufficiently small in step S1. That is, if the predetermined value n is reduced in this algorithm, there is a possibility that the process cannot proceed to step S2 due to camera shake of the photographer. If the predetermined value n is large, sufficient image quality cannot be obtained.
[0048]
FIG. 3 shows an improved algorithm of the algorithm of FIG. This basically follows that shown in FIG. 2 described above, but a determination based on elapsed time is added to the processing in step S1. When shooting is started, the field image data output from the CCD 2 is supplied to the recording signal processing circuit 6 via the compression encoding circuit 3, and the motion vector is detected by the motion detection circuit 5 and the average value calculation circuit 22. Is done. In the first step S10, the process waits until the motion vector becomes equal to or smaller than a predetermined value (n), and the field image data is written in a predetermined area of a frame memory included in the compression encoding circuit 3, for example. Further, the value of the motion vector corresponding to the field image data is written to a predetermined memory, for example, a RAM included in the system controller 18.
[0049]
At this time, the motion vector of the field image data already written in the frame memory is compared with the motion vector of the field image data newly written. As a result of the comparison, field image data having a smaller motion vector value is written in a predetermined area of the frame memory. At the same time, the value of the motion vector of the field image data is written into the RAM. Therefore, the field image data written in the predetermined area of the frame memory is updated to data having a smaller motion vector.
[0050]
In the next step S11, it is determined whether or not the motion vector in either the horizontal direction or the vertical direction has become equal to or less than a predetermined value n within a preset time tl. If it is determined that the value is equal to or less than the predetermined value n, the process proceeds to step S12, and the frame is recorded. The time tl is set in advance for a timer included in the system controller 18.
[0051]
On the other hand, if it is determined in step S11 that the motion vector has not become equal to or less than the predetermined value n even after the time tl has elapsed, the process proceeds to step S13, and the predetermined area of the frame memory is assumed to be smaller as described above. The field image data written in is read, recorded with a predetermined signal processing.
[0052]
When the field image data is recorded in steps S12 and S13, the photographer may be notified of this by using a predetermined message or beep sound displayed in the viewfinder 14 as described above. Also here, as described above with reference to FIG. 2, not only one frame but also a plurality of frames may be recorded.
[0053]
When field image data is recorded in step S12 or S13, in step 143, the accumulated values ax and ay of the horizontal and vertical motion vectors are initialized, and ax = 0 and ay = 0. In the next step S15, the horizontal direction motion vector and the vertical direction motion vector are accumulated to be ax and ay.
[0054]
In step S16, the accumulated motion vectors ax and ay are compared with a predetermined value m set in advance. The accumulation of motion vectors is continued until either one of the accumulated motion vectors ax, ay exceeds m. That is, it is waited for the camera to move to some extent. If either one of the accumulated motion vectors ax and ay exceeds m, the process proceeds to step S17, and the processes from step S10 to step S16 described above are performed until one panoramic image is captured. Is repeated.
[0055]
If the following information is included as subcode data, it is useful for seamless processing when creating a panoramic image. As information about the lens system 1,
(1) Zoom magnification or horizontal angle of view
(2) Field or frame aspect ratio
(3) Autofocus value
(4) Auto iris value
(5)Angular velocityInformation indicating the direction of the optical axis by the degree sensor 20
(6) When an optical axis variable element is provided for the lens system 1, information indicating the direction of the optical axis variable element
These information are mentioned.
[0056]
Also, motion detection data at the time of compression encoding is useful. This includes
(1) Average movement amount up / down / left / right
(2) Rotation in image plane (rotation angle)
(3) Image magnification
Etc. Among these, as for the image enlargement ratio, the magnification may be different between the upper part of the screen and the lower part of the screen with respect to the magnification in the horizontal direction due to the relationship with the angle with the subject. Similarly, the magnification in the vertical direction may be different between the left part of the screen and the right part of the screen. These motion detection data are a small amount of data obtained from a large amount of motion detection data at the time of compression encoding, and can be recorded by being included in the compressed data.
[0057]
Furthermore, it is preferable to include the photographing time as subcode data. This is because the frame period is not constant in shooting based on the above algorithm.
[0058]
In the above description, it is described that shooting is automatically performed with respect to the movement of the camera. However, this is not limited to this example, and it is also possible to manually perform shooting for each movement of the camera. It is possible by the process. In this case, first, the camera is directed toward a part of the subject, the start / stop key is pressed, and then released. Then, the frame image that is assumed to have the smallest movement while the key is pressed is recorded. Next, the camera is moved and stopped so that the range that can be combined by image processing, for example, 50% overlaps the shooting range shot immediately before. There, the key is pressed again and released. By repeating this camera movement and shooting, the entire subject is shot. According to this photographing method, since recording is not performed during movement, there is an advantage that it is not necessary to perform useless recording on the recording medium 8 when performing panoramic photographing.
[0059]
By applying the algorithm shown in FIG. 2 and FIG. 3 described above, such a photographing method is made possible. For example, in the algorithm shown in FIG. 2, steps S1 and S2 are executed and recorded. Simultaneously with the recording, the accumulated motion vector is reset. Then, after the start / stop key is released and shooting is stopped, when the start / stop key is pressed again to start shooting, the processing from step S1 is started again. This can be similarly applied to the algorithm shown in FIG.
[0060]
【The invention's effect】
As described above, according to the present invention, since the system recognizes that the camera is stationary by monitoring the motion vector used in the compression encoding, the panoramic image is displayed. There is an effect that it can shoot quickly.
[0061]
Similarly, since recording is performed after recognizing that the camera is stationary, it is not necessary to increase the shutter speed, and it is possible to easily shoot a dark subject.
[0062]
Furthermore, since the recording is automatically performed by simply stopping the camera for a moment without pressing the shutter one by one, it is possible to take a panoramic image very easily.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an example of the configuration of a camera-integrated video recorder to which the present invention can be applied.
FIG. 2 is a principle algorithm of panoramic image shooting according to the present invention.
FIG. 3 is an improved algorithm for panoramic image capture according to the present invention.
FIG. 4 is a schematic diagram illustrating a result of calculating time required for photographing, a moving rate, and a duplication rate when photographing a panoramic image so as to reduce camera shake.
[Explanation of symbols]
2 ... CCD, 3 ... compression encoding circuit, 5 ... motion detection circuit, 6 ... recording signal processing circuit, 11 ... data output terminal, 14 ... viewfinder, 16 ... Lens system drive circuit, 18 ... system controller, 19 ... key input unit, 20 ...Angular velocityDegree sensor, 22... Average value calculation circuit

Claims (10)

止画の撮影が可能とされたカメラ一体型ビデオレコーダにおいて、
カメラの撮影方向の移動を検出する検出手段と、
上記カメラによって撮影された1または複数のフィールド画像を記録媒体に対して記録する記録手段と、
上記検出手段の検出結果に基づき上記移動の量を累積する累積手段と
を備え、
上記累積手段による累積結果が予め設定された値を越えたら上記検出手段の検出結果に基づき上記カメラの静止を検出し、所定の時間以内に該静止が検出されたら上記記録手段による記録を行なうと共に、上記累積結果をリセットする
ことを特徴とするカメラ一体型ビデオレコーダ。
In the camera-integrated video recorder it is possible to shoot still images,
Detection means for detecting movement in the shooting direction of the camera;
Recording means for recording one or a plurality of field images photographed by the camera on a recording medium;
Accumulating means for accumulating the amount of movement based on the detection result of the detecting means,
Cumulative result obtained by the accumulation means is a still of the camera is detected based on a detection result of al upper Symbol detection means exceeds a predetermined value, the recording by said recording means Once the static stop is detected within a predetermined time with line Now, the camera-integrated video recorder, characterized in that resetting the cumulative results.
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
上記撮影手段から出力された上記フィールド画像の動き検出を行なう動き検出手段と、
上記動き検出手段による動き検出結果を用いて上記フィールド画像の圧縮符号化を行なう圧縮符号化手段と
をさらに備え、
上記検出手段は、上記動き検出手段による動き検出結果に基づき上記カメラの移動を検出することを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
Motion detection means for detecting motion of the field image output from the photographing means;
Compression coding means for performing compression coding of the field image using a motion detection result by the motion detection means,
The camera-integrated video recorder, wherein the detecting means detects movement of the camera based on a motion detection result by the motion detecting means.
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
上記撮影手段から出力された上記フィールド画像の動き検出を行なう動き検出手段と、
上記動き検出手段による動き検出結果を用いて上記フィールド画像の圧縮符号化を行なう圧縮符号化手段と
をさらに備え、
上記累積手段は、上記動き検出手段による動き検出結果を毎フィールド累積して、上記移動の量の累積となすことを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
Motion detection means for detecting motion of the field image output from the photographing means;
Compression coding means for performing compression coding of the field image using a motion detection result by the motion detection means,
The camera-integrated video recorder, wherein the accumulating means accumulates the motion detection results by the motion detecting means for each field to accumulate the amount of movement.
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
角速度センサをさらに備え、
上記検出手段は、上記角速度センサによる角速度検出結果に基づき上記カメラの移動を検出することを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
An angular velocity sensor;
The camera-integrated video recorder, wherein the detecting means detects the movement of the camera based on the angular velocity detection result of the angular velocity sensor.
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
角速度センサをさらに備え、
上記累積手段は、上記角速度センサによる角速度検出結果を毎フィールド累積して、上記移動の量の累積となすことを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
An angular velocity sensor;
The camera-integrated video recorder characterized in that the accumulating means accumulates the amount of movement by accumulating the angular velocity detection results obtained by the angular velocity sensor every field.
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
上記移動の量をフィールド毎に順次比較する移動量比較手段と、
上記カメラによって撮影された、上記移動量比較手段の比較結果に基づき、上記移動の量がより小さい上記フィールド画像を記憶するメモリ手段
さらに備え、
記所定の時間を経過しても上記静止が検出されない場合、上記記録手段により、上記メモリ手段に記憶された上記移動の量がより小さい上記フィールド画像を上記記録すると共に、上記累積結果をリセットする
ことを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
A moving amount comparing means for sequentially comparing the moving amount for each field;
Memory means for storing the field image having a smaller movement amount based on a comparison result of the movement amount comparison means, which is taken by the camera ;
Further comprising a,
If after the above SL predetermined time said still is not detected by said recording means, with the amount of upper Symbol movement stored in said memory means to be the recording smaller the field image, the cumulative results A camera-integrated video recorder characterized by being reset .
請求項1に記載のカメラ一体型ビデオレコーダにおいて、
上記検出手段の検出結果に基づき上記カメラが静止しているとされたときに、その旨撮影者に通知するようにしたことを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 1,
A camera-integrated video recorder characterized in that, when it is determined that the camera is stationary based on the detection result of the detection means, the photographer is notified accordingly.
請求項7に記載のカメラ一体型ビデオレコーダにおいて、
上記通知は、ビューファインダ内に対して所定のメッセージを表示することによって行なうことを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 7,
The camera-integrated video recorder, wherein the notification is performed by displaying a predetermined message in the viewfinder.
請求項7に記載のカメラ一体型ビデオレコーダにおいて、
上記通知は、音によって行なわれることを特徴とするカメラ一体型ビデオレコーダ。
The camera-integrated video recorder according to claim 7,
The camera-integrated video recorder, wherein the notification is performed by sound.
重複した領域を撮影することで1枚の静止画を得るようにした撮影方法において、
カメラの撮影方向の移動を検出する検出のステップと、
上記カメラによって撮影された1または複数のフィールド画像を記録媒体に対して記録する記録のステップと、
上記検出のステップによる検出結果に基づき上記移動の量を累積する累積のステップと
を備え、
上記累積のステップによる累積結果が予め設定された値を越えたら上記検出のステップの検出結果に基づき上記カメラの静止を検出し、所定の時間以内に該静止が検出されたら上記記録のステップによる記録を行なうと共に、上記累積結果をリセットする
ことを特徴とする撮影方法
In a shooting method in which a single still image is obtained by shooting overlapping areas,
A detection step for detecting movement in the shooting direction of the camera;
A recording step of recording one or a plurality of field images photographed by the camera on a recording medium;
A cumulative step of accumulating the amount of movement based on the detection result of the detection step,
Detection based on the result detects the stationary of the camera, step of the recording If the static stop is detected within a predetermined time et upper Symbol detection step exceeds a value accumulation result is set in advance by the steps of the cumulative with row now recording by shooting method characterized by resetting the accumulated results.
JP23944297A 1997-09-04 1997-09-04 Camera-integrated video recorder and photographing method Expired - Fee Related JP3931393B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23944297A JP3931393B2 (en) 1997-09-04 1997-09-04 Camera-integrated video recorder and photographing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23944297A JP3931393B2 (en) 1997-09-04 1997-09-04 Camera-integrated video recorder and photographing method

Publications (2)

Publication Number Publication Date
JPH1188811A JPH1188811A (en) 1999-03-30
JP3931393B2 true JP3931393B2 (en) 2007-06-13

Family

ID=17044842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23944297A Expired - Fee Related JP3931393B2 (en) 1997-09-04 1997-09-04 Camera-integrated video recorder and photographing method

Country Status (1)

Country Link
JP (1) JP3931393B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345035A (en) * 2005-06-07 2006-12-21 Fujifilm Holdings Corp Moving picture printing device and method, and program
JP4611231B2 (en) 2006-03-28 2011-01-12 富士通株式会社 Panorama image creating apparatus, method and program
SE532236C2 (en) * 2006-07-19 2009-11-17 Scalado Ab Method in connection with taking digital pictures
JP4947060B2 (en) * 2007-01-18 2012-06-06 富士通株式会社 Image composition apparatus, image composition method, and program
US8350892B2 (en) 2008-05-20 2013-01-08 Sony Corporation Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
JP4656216B2 (en) 2008-09-04 2011-03-23 ソニー株式会社 Imaging apparatus, image processing apparatus, image processing method, program, and recording medium
EP2483767B1 (en) 2009-10-01 2019-04-03 Nokia Technologies Oy Method relating to digital images
JP2011155361A (en) 2010-01-26 2011-08-11 Sony Corp Imaging apparatus, imaging control method, and program
JP5504915B2 (en) 2010-01-26 2014-05-28 ソニー株式会社 Imaging control apparatus, imaging control method, and program
JP5371845B2 (en) 2010-03-18 2013-12-18 富士フイルム株式会社 Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus
WO2012039669A1 (en) 2010-09-20 2012-03-29 Scalado Ab Method for forming images
JP5955348B2 (en) * 2013-05-22 2016-07-20 株式会社テレパシーホールディングス Wearable device having privacy protection function of captured image, control method thereof, and image sharing system
JP6220276B2 (en) * 2014-01-31 2017-10-25 株式会社Nttドコモ Imaging apparatus and imaging method
WO2018180214A1 (en) * 2017-03-28 2018-10-04 富士フイルム株式会社 Image processing device, camera device, and image processing method
JP6905417B2 (en) * 2017-08-10 2021-07-21 vizo株式会社 Image processing device, image processing method, angle detection device, angle detection method and program
US11651589B2 (en) 2018-05-07 2023-05-16 Google Llc Real time object detection and tracking

Also Published As

Publication number Publication date
JPH1188811A (en) 1999-03-30

Similar Documents

Publication Publication Date Title
CN101588451B (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method
JP3931393B2 (en) Camera-integrated video recorder and photographing method
JP4441882B2 (en) Imaging device, display control method, program
US7742690B2 (en) Imaging apparatus and method for processing imaging results
JP2006245726A (en) Digital camera
JP2006317848A (en) Still picture imaging apparatus
JP3845968B2 (en) Image processing system
JP3928222B2 (en) Image signal imaging and recording apparatus and method
JP2000101895A (en) Image signal photographing device and its method
JP2816707B2 (en) Zoom camera
JP2003179798A (en) Digital camera
JP2000184265A (en) Image signal image pickup device and its method
JPH11168685A (en) Image processing method
JP2004186866A (en) Image recording apparatus
JP2009094741A (en) Imaging device, imaging method and program
JP4306854B2 (en) Imaging apparatus and imaging method thereof
JP5094550B2 (en) Imaging device
JP2005109557A (en) Monitor and monitoring method
JP3336085B2 (en) Imaging recording and playback device
JP3218612B2 (en) Video signal recording / reproducing device capable of correcting camera shake
JP2002062559A (en) Device and method for imaging
JP4126816B2 (en) Image recording apparatus and image recording method
JP2816708B2 (en) Zoom camera
JP4135046B2 (en) Image signal imaging apparatus and method
JP5047907B2 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070305

LAPS Cancellation because of no payment of annual fees