JP4478952B2 - プリントシステム - Google Patents

Description

本発明は動画像データから１枚のプリントデータを作成する技術に関する。

従来、動画像データから１つの静止画像を作成する技術が様々開発されている。例えば特許文献１によると、動画像中のプリント対象画像とこのプリント対象画像に対し１秒前及び１秒後の参照画像との各データをフレームメモリにコマ単位で取り込む。プリント対象画像データと参照画像データとに対して、マッチング処理部で局所的マッチング処理を行い、プリント対象画像を静止領域と動領域とに分ける。静止領域加重平均部により、静止領域に対してプリント対象画像と参照画像との同じ位置にある画素データを加重平均する。動領域平滑化処理部により、動領域に対してプリント対象画像の画像データを用いて平滑化処理を行う。これらの処理を行った静止領域及び動領域の画像データを画像合成部で合成する。

また特許文献２によると、撮影カットごとに角度検出手段の検出角度を対応付けて撮影角度記憶手段に記憶し、プリント時には、複数の撮影カットからなるパノラマ撮影画像データを撮影角度記憶手段に記憶されている撮影角度情報から特定しパノラマ撮影と特定した複数の撮影カットのデータを出力する際に隣接する撮影カットのつなぎ撮り部分の合成処理を撮影データ読出手段が構成して出力する。
特開平１０−８３０３３号公報 特開平１１−３３１６９５号公報

ところで、被写体の大きさ、動き方向、傾きが異なるような画像同士を合成すると、見た者に違和感を与える可能性がある（図１０参照）。また、合成した撮影カットがプリントしたい範囲を満遍なくカバーしておらず、画像の存在しない部分が多くなってしまい、見栄えがよくないことがある（図１１参照）。本発明はこのような問題点に鑑みてなされたもので、動画像データから見栄えのよい１枚のプリントデータを得ることのできる技術を提供することを目的とする。

上記課題を解決するため、本発明は、撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部とを備えるカメラシステムにおいて、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、少なくとも動画像の各フレームの撮影時における状態情報を含む付属情報を動画像の各フレームに対応づけて記憶する付属情報記憶部と、を備えた。

この発明によると、動画像の各フレームには、撮影時における状態情報を含む付属情報が対応づけられる。これにより、後述のプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。

ここで、状態情報検出部の検出する状態情報は、カメラ本体の上下左右の動き方向及び動き量、カメラ本体の傾き方向及び傾き量又は被写体像のズーム倍率を含む。

付属情報は、フレームと所望の静止画像との関連づけを規定する情報をさらに含んでいてもよい。

こうすれば、例えば、フレームに関連づけた静止画像を、該フレームの近傍に配置することで、不自然な空白が発生するのを防げる。

状態情報検出部は雲台に設けられていることが好ましい。

状態情報検出部はカメラ本体に設けてもよいが、地面に設置される雲台に設ける方が、状態情報の検出精度が向上し好ましい。

また、上記課題を解決するため、本発明に係るプリントシステムは、動画像の各フレームの撮影時におけるデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、状態情報に基づいて所定のプリント範囲内におけるフレームの配置位置を決定する決定部と、決定部の決定した配置位置にフレームを配置して１枚のプリント画像に合成する合成部と、合成部の合成したプリント画像をプリントするプリンタと、を備える。

ここで、状態情報はカメラ本体の上下左右の動き方向及び動き量を含んでおり、決定部はカメラ本体の上下左右の動き方向及び動き量に基づいてフレームの配列順路を決定し、合成部は配列順路に沿って各フレームを配列する。

カメラの動きに沿ってフレームを配置することで、撮影時の状態にあわせた、臨場感あふれる１枚のプリント画像を作成することができる。

合成部は配列順路に沿って配列されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して配列するとよい。

こうすると、重複部分の多い画像同士を重ね合わせるという無駄を防げる。

状態情報はカメラ本体の傾き方向及び傾き量を含み、合成部はカメラ本体の傾き方向及び傾き量に基づいて配置されたフレームの傾きを補正する。

こうすると、カメラの傾きによって生じた被写体の傾きを補正できる。

状態情報は被写体像のズーム倍率を含み、合成部は被写体像のズーム倍率に基づき、配置された各フレームの被写体像の倍率が統一されるよう各フレームを拡縮するとよい。

付属情報はフレームと所望の静止画像との関連づけを規定する関連情報をさらに含み、合成部は配置されたフレームの近傍に、関連情報によってフレームと関連づけられた静止画像を配置して合成するとよい。

こうすることで、プリント画像に不自然な空白が発生するのを防げる。

本発明に係るカメラシステムは、動画像の各フレームに、撮影時における状態情報を含む付属情報を対応づける。これにより、本発明に係るプリントシステムは、各フレームから１枚のプリント画像を作成する際に、付属情報を参照し、プリントに適した画像を配列することができる。

以下、添付した図面を参照し本発明の好ましい実施の形態を説明する。

図１に示すように、本発明に係るカメラシステムは、カメラ１００が雲台付きの三脚１４０に固定されることで構成される。ユーザは被写体の方向にカメラ１００を大まかに向けて雲台２００付きの三脚１４０をセットし、その後、三脚１４０に設けられたレバー１４０ａを上下左右に動かすか、水平方向に回動させることで、被写体を追従した撮影が可能である。

図２はカメラ１００のブロック図である。カメラ１００は、ＣＰＵ１０、撮像レンズ１１、撮像レンズ１１を駆動する駆動ユニット１２、駆動ユニット１２にズームデマンドやフォーカスデマンド等の指令を送るレンズコントローラ１３、ＣＣＤなどの固体撮像素子（以下ＣＣＤで代表して表す）１４、ＣＣＤ１４の出力した画像信号の内蔵メモリ１６あるいはメモリカード１７への記憶を制御するメモリコントローラ１５、撮影された画像データを圧縮する圧縮部１８、撮影モードの設定、撮影の開始・終了の手動指示を受ける操作部１９、雲台２００との通信を行う通信部２０などを備えている。

撮像レンズ１１には、例えば光学２倍ズームレンズが用いられ、操作部１９から指定されるズーム倍率変更操作に応じて駆動ユニット１２が撮像レンズ１１を望遠（テレ）側又は広角（ワイド）側に進退駆動することで光学ズーム倍率が変更される。撮像レンズ１１の倍率は上記に限定されない。

記録装置制御手段としてのメモリコントローラ１５は、ＣＰＵ１０から命令を受けてデジタルカメラ１００に装着されたメモリカード１７を制御し、圧縮部１８によりＪＰＥＧ圧縮方式で圧縮された「ＪＰＥＧ画像データ」や、Ｒ，Ｇ，Ｂ信号からなる非圧縮の「ＲＧＢ画像データ」や、Ｙ，Ｃ信号からなる非圧縮の「ＹＣ画像データ」をメモリ１６に記録（書込み）することができる。これらのデータ形式は静止画撮影モードの場合に用いられる。また、動画撮影モードの場合には、撮影された動画データを構成する各フレーム（コマ）の画像データは圧縮部１８によって圧縮され、動画データは独立したＪＰＥＧ画像を羅列したモーションＪＰＥＧ形式としてメモリ１６に記録される。なお、画像データの圧縮形式は、ＪＰＥＧに限られるものではない。

メモリ１６の画像データは、必要に応じて電子ズーム回路５に加えられる。電子ズーム回路５は、操作部１９から指定された電子ズーム倍率に基づいて画像の拡大／縮小処理を行う。すなわち、画像データの一部を切り出し、その切り出し範囲を拡大／縮小することにより、画像の拡大／縮小処理を行なう。そして、その拡大／縮小後の画像データをメモリ１６に出力する。切り出し範囲は十字ボタンなどの操作部１９の操作で画像上の任意の位置に設定でき、これにより画像データの所望の範囲を拡大／縮小できる。

雲台２００は、カメラ１００の動きを検出して、検出した動きを動き情報として通信部２２経由でカメラ１００に送る動き検出回路２１を有している。

動き検出回路２１は、ポテンショメータ、重力サンサ、傾斜センサ、姿勢センサ、電子コンパス等からなる。具体的には、動き検出回路２１は、カメラ１００の左右の動き方向及びその動作量を示す左右動き情報を出力する左右動き検出部２１ａ、カメラ１００の上下の動き方向及びその動作量を示す上下動き情報を出力する上下動き検出部２１ｂ、カメラ１００の筐体の水平方向に対する傾き方向及びその傾き量を示す傾き動き情報を出力する傾き動き検出部２１ｃを備える。動き情報は、左右動き情報、上下動き情報、および傾き動き情報を含む。

なお、動き検出回路２１は、カメラ１００自身に設けてもよい。ただし、正確な動き情報を得るには、手で持つカメラ１００よりも、地面に置く雲台２００付きの三脚１４０に動き検出回路２１を設ける方が好ましいといえる。

ＣＰＵ１０は、動画データを構成する各フレームが撮影された時点で得られた、あるいはその時点で指定されている動き情報、レンズ１１の光軸の位置、電子ズーム倍率もしくは光学ズーム倍率（これらをまとめてズーム倍率と称す）を、その時点で撮影された各フレーム画像と対応づけてメモリカード１７に記憶する。

図３は本発明に係るプリンタ３００の構成を示すブロック図である。同図に示すように、このプリンタ３００は、主として記録メディア挿入口３３、メディアインターフェース３２、メモリ３４、システムメモリ３６、タッチパネルモニタ３９、入力コントローラ３７、表示コントローラ３８、ＣＰＵ３１、プリントエンジン３５、バス３０から構成されている。

このプリンタ３００は、カメラ１００において使用されているメモリカード１７が挿入される記録メディア挿入口３３を有し、この記録メディア挿入口３３に挿入された記録メディアから動画データを取り込むことができるようになっている。

メモリカード１７が記録メディア挿入口３３に挿入された後、メモリカード１７に記録されている動画画像ファイルがメディアインターフェース３２、バス３０を介してＣＰＵ３１の指示に従い、必要箇所に送られる。メモリ３４は表示画像データやプリント画像データを生成するために一時的に画像データを記憶しておくところである。システムメモリ３６はＲＯＭ等からなり、システムファイルを保存しておく媒体である。タッチパネルモニタ３９は操作部及び表示画面を有しており、表示コントローラ３８によって表示がされるようになっている。タッチパネルモニタ３９の操作部を操作すると入力コントローラ３７が作動して入力が実行される。ＣＰＵ３１は種々の制御を行うほか、モーションＪＰＥＧ形式で圧縮して記録されていた画像データを伸長したりする。プリントエンジン３５はプリンタによるプリントの駆動を制御する。

なお、本形態は、デジタルカメラで撮影されてモーションＪＰＥＧの形式で動画が記録されている場合であるので、タッチパネルモニタ３９上で、静止画を紙芝居のような状態切り替えることで動画を再生できる。

以下、図４のフローチャートに従い、本発明に係るプリンタ３００のプリント動作の流れを説明する。

まず、Ｓ１では、ＣＰＵ３１は、メディア挿入口３３に挿入されたメモリカード１７から、動画データおよび付属情報をメモリ３４に読み出す。

Ｓ２では、ＣＰＵ３１は、付属情報に含まれるカメラ光軸の動き経路に基づき、プリント範囲内におけるフレーム画像の配置順路を決定する。一例として、この配置順路は、プリント範囲の所定位置に存在する配置順路の始点P0および終点P1にカメラ光軸の動き経路の始点および終点が配置されるよう適宜カメラ光軸の動き経路を拡縮することで決定することができる。

図５はプリント範囲内における配置順路の一例を示す。この図に示すように、配置順路は、プリント範囲の外周縁Ｘの内部を通過するように配置される。ただし、フレーム画像の配置順路の決定の仕方は任意であり、特定の被写体像の光点が描いた軌跡に基づいて決定してもよいし、ユーザがタッチパネルモニタ３９の操作によって任意に指定してもよい。

Ｓ３では、Ｓ２で決定された配置順路に沿って配置すべきフレーム画像を選択し、選択したフレーム画像を配置順路に沿って配置する。配置する画像の選択の仕方は任意である。例えば、所定時間を隔てたフレーム画像ごとに配置したりしてもよい。あるいは、図６に示すように、あるフレーム画像Ｆ１の撮影時刻に近接する撮影時刻に撮影された複数のフレーム画像Ｆ２〜Ｆ４のうち、Ｆ１と最も重複面積が小さいフレーム画像Ｆ４を配置するとよい。

Ｓ４では、配置順路に沿って配置された複数のフレーム画像を１枚のプリント用画像に合成する（図７を参照）。

Ｓ５では、プリントエンジン３５は、合成されたプリント用画像に従って図示しないプリンタを駆動し、プリント用画像をプリントする。

なお、Ｓ４において合成されたプリント用画像において、プリント範囲内の空白が所定量を超える場合（例えばプリント範囲に対する空白の比率が５０％を超える場合）、所定の背景色や背景画像、あるいは予めフレーム画像と関連づけられた静止画をフレームの近傍に配置して合成することで空白部分を埋めてもよい。フレーム画像と静止画の関連づけはカメラ１００で行うことができ、例えば、本出願人による特開２００３−１５８６５３号公報に示されるように、動画撮影モード中に連写された静止画のいずれかを、撮影された動画と関連づけることができる。動画と静止画との関連を示す情報も付属情報に含まれる。空白部分をなるべく埋めることで、プリント画像の見栄えをさらによくできる。

また、選択された各フレーム画像に対応する付属情報のズーム倍率に従って、選択された各フレーム画像のサイズを変更してもよい。図８は、ズーム倍率と反比例するように各フレーム画像のサイズを拡縮した状態を示す。こうすれば、低倍率で撮影されたコマ、即ち広角側のコマを大きく、逆に高倍率で撮影されたコマ、即ち近接側のコマを小さくでき、両者を合成しても大きさが相対的に統一され、見栄えのよいプリントを得ることができる。

あるいは、選択された各フレーム画像に対応する傾き動き情報に従って、選択された各フレーム画像の傾きを補正してもよい。図９は、傾き動き情報に従って各フレーム画像の傾きが相殺されるように補正した状態を示す。こうすれば、傾いて撮影されたフレーム画像を傾きが補正された状態で合成でき、見栄えのよいプリントを得ることができる。

いずれにせよ、本発明によれば、動画を構成する複数のフレーム画像を１つのプリント画像に統一的に違和感なく合成することができ、広い視野の見栄えのよいプリントを得ることができる。

本発明に係るカメラシステムの外観斜視図 カメラシステムのブロック図 本発明に係るプリンタのブロック図 プリント動作の流れを示すフローチャート フレーム画像の配置順路の一例を示す図 重複面積の大きさにしたがって選択されるフレーム画像の一例を示す図 配置順路に沿ってフレーム画像が配置されることで得られたプリント画像の一例を示す図 ズーム倍率に従って拡縮されたフレーム画像が配置されることで得られたプリント画像の一例を示す図 傾き動き情報に従って傾きが補正されたフレーム画像が配置されることで得られたプリント画像の一例を示す図 複数のフレーム画像を合成した従来例を示す図 複数のフレーム画像を合成した他の従来例を示す図

符号の説明

１００：カメラ、２００：雲台、３００：プリンタ、２１：動き検出部

Claims (4)

1. 動画像の各フレームの撮影時におけるデジタルカメラの光軸の動き経路、上下左右の動き方向及び動き量を含むデジタルカメラの状態に関する情報である状態情報を所定の記憶媒体から取得する状態情報取得部と、
   前記状態情報に基づいて所定のプリント範囲内におけるフレームの配置順路を決定する決定部と、
   前記決定部の決定した配置順路に沿って前記フレームを配置し、前記配置順路に沿って配置されるフレームのうち重なり合う面積が所定量未満となるフレームを選択して１枚のプリント画像に合成する合成部と、
   を備えるプリントシステム。
2. 前記合成部の合成したプリント画像をプリントするプリンタを備える請求項１に記載のプリントシステム。
3. 撮像レンズを介して受光した被写体像に基づいて画像信号を出力する撮像部と、
   前記撮像部の出力した画像信号に基づいて動画像を記憶する画像記憶部と、
   前記動画像の各フレームの撮影時における前記デジタルカメラの状態に関する情報である状態情報を検出する状態情報検出部と、
   少なくとも前記動画像の各フレームの撮影時における状態情報を含む付属情報を前記動画像の各フレームに対応づけて前記所定の記憶媒体に記憶する付属情報記憶部と、
   を備える請求項１または２に記載のプリントシステム。
4. 前記状態情報検出部は雲台に設けられている請求項３に記載のプリントシステム。

Images