JP5200816B2 - 撮像装置、撮像装置の画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置に関し、特に再生画像にユーザ独自の装飾を施すことができる撮像装置、撮像装置の画像処理方法及び画像処理プログラムに関するものである。

従来より、ユーザが取得した画像を撮像装置で再生して、この再生画像に既定のコメントを挿入したり、既定のフレームを挿入したりして、再生画像に装飾を施すことが行われている。

また、特許文献１には、撮像手段であるビデオカメラにより撮像された被写体の画像を、ＣＲＴディスプレイの画面に表示し、ＣＲＴディスプレイの表示画像に、ユーザが操作するライトペンなどの描画手段によって画面上に描画された文字や図形等を重畳して表示する描画装置が開示されている。

特開２００１−３５０５９３号公報（明細書［０００３］）

しかしながら、従来行われている既定のコメントや既定のフレームを挿入する装飾は、その装飾が予め決められているものであるため、ユーザが任意の形状を描画できないという問題がある。

また、ユーザが任意の形状を描画するために考えられたのが、特許文献１に記載のようなライトペン又はタッチペンなどを用いてユーザ独自の装飾を施すものであるが、タッチパネル及びライトペン又はタッチペンといった追加部品を必要とするため、コストアップが嵩むという問題がある。
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像装置の主構成を変更することなく、再生画像にユーザ独自の装飾を施す撮像装置、撮像装置の画像処理方法及び画像処理プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、記憶された画像データを再生画像として描画アイコンとともに表示する表示手段と、撮像素子によって時間的に連続する複数枚の被写体画像を取得する撮像手段と、前記表示手段が前記再生画像を表示している間に前記撮像手段によって取得した複数枚の被写体画像の変化を検出する検出手段と、前記検出手段によって検出した被写体画像の変化に応じて、前記再生画像を変更する再生画像変更手段と、前記再生画像変更手段によって前記表示手段に表示された前記描画アイコンを移動する移動手段と、前記移動手段によって移動された描画アイコンの軌跡を前記再生画像の上に描画する描画手段と、前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成する画像生成手段とを備えるとともに、前記検出手段は、変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得するベクトル取得手段を備え、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出し、前記描画手段は、前記検出手段によって検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする。

また、請求項２記載の発明に係る画像処理方法にあっては、記憶された画像データを再生画像として描画アイコンとともに表示し、撮像素子によって時間的に連続する複数枚の被写体画像を取得し、前記再生画像を表示している間に取得した複数枚の被写体画像の変化を検出し、前記検出した被写体画像の変化に応じて、前記再生画像を変更し、前記表示された前記描画アイコンを移動し、前記移動された描画アイコンの軌跡を前記再生画像の上に描画し、前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成するとともに、変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得し、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出し、前記検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする撮像装置の画像処理方法を提供する。

また、請求項３記載の発明に係る画像処理プログラムにあっては、撮像装置が有するコンピュータを、記憶された画像データを再生画像として描画アイコンとともに表示する表示手段と、撮像素子によって時間的に連続する複数枚の被写体画像を取得する撮像手段と、前記表示手段が前記再生画像を表示している間に前記撮像手段によって取得した複数枚の被写体画像の変化を検出する検出手段と、前記検出手段によって検出した被写体画像の変化に応じて、前記再生画像を変更する再生画像変更手段と、前記再生画像変更手段によって前記表示手段に表示された前記描画アイコンを移動する移動手段と、前記移動手段によって移動された描画アイコンの軌跡を前記再生画像の上に描画する描画手段と、前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成する画像生成手段として機能させるとともに、前記検出手段は、変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得するベクトル取得手段と、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出する手段とを含み、前記描画手段は、前記検出手段によって検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする撮像装置の画像処理プログラムを提供する。

本発明によれば、撮像手段によって取得した複数枚の被写体画像の変化を検出して、検出した変化に応じて、表示手段に表示される前記再生画像を変更することができることから、タッチパネルなどの部品追加をすることなく、ローコストで、ユーザの所望する操作が可能となる。特に、再生画像に線分を描写することができることで、ユーザが描写したい線分に合わせて撮像装置の被写体画像に対する位置を変化させることによって、タッチパネルなどの部品追加をすることなく、ローコストでユーザの任意の形状の描画を実現することができる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態の撮像装置を構成するデジタルカメラ１００の電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとを有し、再生モードの下位モードとして描画モードが設けられたものである。なお、描画モードでは、再生モードにおける再生画像にユーザ独自の装飾（形状、模様、色彩等）を施すことができる。

図１に示すように本実施の形態の撮像装置を構成するデジタルカメラは、撮影レンズ１と、撮影レンズ１により収束された撮影光をシャッター２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるＣＭＯＳセンサ３、ＣＭＯＳセンサ３の出力信号をデジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５、シャッター２の動作を制御するシャッター制御部８、デジタルカメラを構成する構成部品の動作を制御するＣＰＵ９を備えている。なお、ＤＲＡＭ５には、描画モードでの撮影時においては複数枚分の画像データが格納される。
この他にも、本実施の形態を構成するデジタルカメラは、液晶表示コントローラ６、液晶表示器７、受光制御部１０、デモザイク部１１、外部記憶メモリ１２、キー入力ブロック１３、プログラムメモリ１４、マッチング部１６、画像合成加算部１７、ＳＲＡＭ１８等を備えている。

前記シャッター２の動作はＣＰＵ９の命令に従いシャッター制御部８により制御され、ＣＭＯＳセンサ３及びＡ／Ｄ変換器４の動作はＣＰＵ９の命令に従い受光制御部１０により制御される。ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示部７にスルー画像として表示される。なお、液晶表示コントローラ６，液晶表示部７は、本発明の表示手段として機能する。

なお、デモザイク部１１は、描画モードでの撮影時においてはＲＡＷデータをＹＵＶデータ（撮影画像）のみならず、必要に応じて輝度情報のみからなる輝度画像データ（輝度画像）へ変換する。また、変換されたＹＵＶデータ及び輝度画像データはＤＲＡＭ５に一時的に記憶される。

記録モードでの撮影時にデモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイルとして記憶される。外部記憶メモリ１２に静止画ファイルとして記憶された画像データは、再生モードにおいては、必要に応じＣＰＵ９に読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。なお、外部記憶メモリ１２は、例えばカメラ本体に着脱可能なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

また、ＣＰＵ９には、キー入力ブロック１３、プログラムメモリ１４、マッチング部１６、画像合成加算部１７が接続されている。キー入力ブロック１３は、ユーザによるデジタルカメラの操作に使用される、電源キーやシャッターキー、ズームボタン（Ｗボタン，Ｔボタン）、モード切替キー、後述する描画ボタン等を含む複数のスイッチ類から構成される。プログラムメモリ１４は、ＣＰＵ９の動作に必要な種々のプログラム、及びプログラムの実行に際して使用される各種のデータ、ログが記憶されたメモリである。

ＣＰＵ９は、プログラムメモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。また、ＣＰＵ９は、描画モードにおいては本発明の撮像手段、検出手段（ベクトル取得手段）、移動手段、描画手段、ズーム処理手段、再生画像変更手段として機能する。

マッチング部１６は、描画モードでの撮影に際して、ＳＲＡＭ１８を作業メモリとして使用し、ＣＭＯＳセンサ３により撮像された被写体画像同士との間でマッチングを行い、時間的に前後する変化前の被写体画像と変化後の被写体画像の相対的な変化量及び変化方向を示す動きベクトルを取得してＣＰＵ９に出力する本発明のベクトル取得手段である。
画像合成加算部１７は、描画モードでの撮影に際して、ＣＰＵ９の指示に応じ、表示画像にアイコンを表示したり、軌跡を描画したりして、新たな再生画像として合成画像を生成する本発明の画像生成手段である。

次に、以上の構成からなるデジタルカメラにおいて、再生モードの下位モードである描画モードの基本動作について説明する。図２は、描画モードの基本動作の概要を示す説明図である。

デジタルカメラの背面には、液晶表示器７と、描画ボタン１３ａを含む各種のスイッチ類が設けられており、再生モードにおいて所望の画像を液晶表示器７に表示させることができる（図２（ａ））。再生モードにおいてユーザが描画ボタン１３ａを押下すると、描画モードに移行し、液晶表示器７には再生画像とともに描画アイコン３０が表示される（図２（ｂ））。

描画モードにおいては撮像手段が機能しており、描画ボタン１３ａを押下することなくデジタルカメラを動かした場合には、デジタルカメラの動きに応じて描画アイコン３０が移動し、その様子が液晶表示器７にリアルタイムで表示される（図２（ｃ））。一方、描画ボタン１３ａを押下しつつデジタルカメラを動かした場合には、デジタルカメラの動きに応じて描画アイコン３０が移動するとともに、描画アイコン３０の移動経路を示す軌跡３１が再生画像上に描画され、その様子が液晶表示器７にリアルタイムに表示される（図２（ｄ））。

このように、描画モードにおいて被写体画像は表示画面に表示されないが、被写体画像の変化は撮像手段によって取得され、描画アイコン３０の移動が連動する。具体的には、描画モードにおいても撮像手段が機能しているので、撮像手段によって取得される被写体画像の変化を捉えることによって、描画アイコン３０を連動して移動させることができる。また、被写体画像の変化は、デジタルカメラ自体をユーザが上下左右等任意の位置に動かすことによって得られるが、デジタルカメラを固定して被写体自体が動くことによって得ることも可能である。また、ユーザが所望の位置まで描画アイコン３０を動かしたいときには、描画ボタン１３ａを押下することなくデジタルカメラを動かし、所望の位置から所望の装飾を施すときには、描画ボタン１３ａを押下しつつデジタルカメラを動かす。これを繰り返すことにより、ユーザは所望の形状を再生画像上に描画することができる。

その後、所定の操作によって描画モードを終了することにより描画アイコン３０は消え、再生画像に描画アイコン３０によって描画された描画画像を合成した合成画像（図２（ｅ））を記憶することができ、ユーザはこの合成画像を再生することができる。

なお、再生モードから描画モードへの移行や、描画モードにおける軌跡の描画等は描画ボタン１３ａの押下によって行っているが、これ以外にも、例えばシャッターキーの押下又は長押し等の所定の操作によることもできる。

図３は、本実施の形態に係るデジタルカメラにおいて再生モードが設定されているときにＣＰＵ９が実行する処理手順を示すフローチャートである。

再生モードにおいては、外部記憶メモリ１２に記憶された画像データを読み出して、液晶表示器７に表示する通常再生処理が行われる（ステップＳＡ１）。例えば、主画像（2560×1920画素）のサイズを、表示画像（320×240画素）のサイズに圧縮して表示し、ユーザの操作を検出することで（ステップＳＡ２）、表示画像を切り替える。

ここで、ステップＳＡ２において検出した操作が描画ボタン１３ａの押下でなければ、描画モード移行操作ではないと判断して（ステップＳＡ３）、処理をステップＳＡ１に戻して通常再生処理を継続する。一方、ステップＳＡ２において検出した操作が描画ボタン１３ａの押下等所定の描画モードへの移行操作であった場合は、描画モード移行操作であると判断して（ステップＳＡ３）、描画モード準備処理（ステップＳＡ４）、描画モード処理（ＳＡ５）、描画画像記録処理（ステップＳＡ６）を順に実行する。

図４は、ステップＳＡ４においてＣＰＵ９が実行する描画モードにおける描画モード準備処理の処理手順を示すフローチャートである。

まず、撮像系モニタリング同等動作を開始する（ステップＳＢ１）。具体的には、記録モードにおけるスルー画像を取得する動作と同等に、描画モードにおいては、撮像手段を機能させて被写体画像データを取得し、ＤＲＡＭ５に一時的に格納する。なお、本実施の形態では、描画モードにおいて取得した被写体画像の画像データは液晶表示器７に表示されないが、本発明はこれに限定されず、取得した被写体画像の画像データを液晶表示器７の一部分に表示するなどしてもよい。

次に、前回終了時の描画記録バッファを初期化し（ステップＳＢ２）、描画アイコンの移動元位置座標（ｘ０，ｙ０）及び描画アイコンの移動先位置座標（ｘ１，ｙ１）を初期化する（ステップＳＢ３）。描画アイコンの移動元位置座標（ｘ０，ｙ０）が初期化設定されると、設定された初期位置（ｘ０，ｙ０）に描画アイコンを表示する（ステップＳＢ４）。本実施の形態においては、初期位置（ｘ０，ｙ０）を液晶表示器７の画面中心として設定する（図２（ｂ）参照）。以上の処理を実行することにより、描画モード準備処理ルーチンを終了する。

図５は、ステップＳＡ５においてＣＰＵ９が実行する描画モードにおける描画モード処理の処理手順を示すフローチャートである。

まず、フレーム取り込み処理を行う（ステップＳＣ１）。具体的には、撮像手段による被写体画像の取得を自動的に適当なタイミングで行い、１フレーム毎にＤＲＡＭ５に格納する。２フレームの被写体画像が取り込まれると、これらの被写体画像の変化を検出して、本発明の動きベクトルを示すＧＭＶ（グローバルモーションベクトル）を算出する（ステップＳＣ２）。本実施の形態においては、ＧＭＶ検出用の画像サイズを320×240画素とし、算出したＧＭＶの値をＧＭＶｘ，ＧＭＶｙとする。なお、ＤＲＡＭ５に複数枚の被写体画像が記憶されている場合において、変化前の被写体画像を前フレーム、変化後の被写体画像を現フレームとする。

ＧＭＶの算出を行うマッチング部１６においては、前フレームと現フレームとの間で、被写体全体又は被写体の特徴部を追跡対象としてマッチングを行い、双方の間における被写体部分又は特徴部分の相対的な変化量及び変化方向を示すＧＭＶを取得する。

次に、ＧＭＶから仮想的な描画アイコンの移動先位置座標（ｘ１，ｙ１）を更新する（ステップＳＣ３）。具体的には、仮想的な描画アイコンの座標系として主画像の座標系を適用して、ｘ１＝ｘ０＋ｋｍ・ＧＭＶｘ，ｙ１＝ｙ０＋ｋｍ・ＧＭＶｙという演算式により、ｘ１，ｙ１を算出する。ここで、ｋｍは、ＧＭＶ算出座標系と主画像座標系との変換係数であり、本実施の形態ではｋｍ＝８とする。

以下、描画ボタン１３ａがＳＣ１及び現段階で押下状態にあるか否かの判定に応じて描画画像記録処理が行われる。

現段階、すなわち、現フレームにおいて描画ボタンが押下されず（ステップＳＣ４）、ＳＣ１の段階、すなわち前フレームにおいても描画ボタンが押下されない場合は（ステップＳＣ１０）、単なる描画アイコンの移動として、ステップＳＣ３において更新された（ｘ１，ｙ１）を移動元位置座標（ｘ０，ｙ０）として設定し、（ｘ０，ｙ０）を更新する（ステップＳＣ１２）。この更新に合わせて、表示されている描画アイコンの位置を移動する（ステップＳＣ１３）。

なお、表示されている描画アイコン座標をＤｘ，Ｄｙとすると、Ｄｘ←Ｄｘ＋ｋｄ・ＧＭＶｘ，Ｄｙ←Ｄｙ＋ｋｄ・ＧＭＶｙに設定する。ここで、ｋｄは、ＧＭＶ算出座標系と描画アイコン表示座標系との変換係数であり、本実施の形態ではｋｄ＝１とする。

一方、現フレームにおいて描画ボタンが押下されず（ステップＳＣ４）、前フレームにおいて描画ボタンが押下されていた場合（ステップＳＣ１０）、すなわち、現フレームにおいて描画ボタンが開放された場合は、描画終了として“ＰＥＮ ＯＦＦ”ログを記録する（ステップＳＣ１１）。その後、更新された（ｘ１，ｙ１）を移動元位置座標（ｘ０，ｙ０）として設定し、（ｘ０，ｙ０）を更新する（ステップＳＣ１２）。この更新に合わせて、表示されている描画アイコンの位置を移動する（ステップＳＣ１３）。

また、現フレームで描画ボタンが押下され（ステップＳＣ４）、前フレームで描画ボタンが押下されない場合（ステップＳＣ５）、描画開始として“ＰＥＮ ＯＮ”ログを記録する（ステップＳＣ６）。そして、現在の描画アイコンの位置を移動元位置座標（ｘ０，ｙ０）として記録し（ステップＳＣ７）、次いで、ステップＳＣ３において更新された値を移動先位置座標（ｘ１，ｙ１）として記録し（ステップＳＣ８）、（ｘ０，ｙ０）−（ｘ１，ｙ１）に相当する区間を表示画面上に線分描画する（ステップＳＣ９）。その後、移動元位置座標（ｘ０，ｙ０）として既に移動された（ｘ１，ｙ１）を設定し、（ｘ０，ｙ０）を更新する（ステップＳＣ１２）。この更新に合わせて、表示されている描画アイコンの位置を移動する（ステップＳＣ１３）。なお、線分の描写（ステップＳＣ９）に合わせて描画アイコンの移動（ステップＳＣ１３）も同時に行うこととしてもよい。

一方、現フレームで描画ボタンが押下され（ステップＳＣ４）、前フレームでも描画ボタンが押下されている場合（ステップＳＣ５）、描画継続としてステップＳＣ３において更新された値を移動先位置座標（ｘ１，ｙ１）として記録し（ステップＳＣ８）、（ｘ０，ｙ０）−（ｘ１，ｙ１）に相当する区間を表示画面上に線分描画する（ステップＳＣ９）。その後、移動元位置座標（ｘ０，ｙ０）として既に移動された（ｘ１，ｙ１）を設定し、（ｘ０，ｙ０）を更新する（ステップＳＣ１２）。この更新に合わせて、表示されている描画アイコンの位置を移動する（ステップＳＣ１３）。なお、線分の描写（ステップＳＣ９）に合わせて描画アイコンの移動（ステップＳＣ１３）も同時に行うこととしてもよい。

このようにしてステップＳＣ４〜ステップＳＣ１３の処理を実行した後に、描画モードを終了する所定の操作を検出した場合（ステップＳＣ１４）、描画モード処理ルーチンを終了する。

次に、描画モード処理ルーチンの終了後に遷移する描画画像記録処理ルーチンについて説明する。図６は、ステップＳＡ６においてＣＰＵ９が実行する描画モードにおける描画画像記録処理の処理手順を示すフローチャートである。なお、この描画画像記録処理においては、撮像手段の動作は停止されている。

この処理は、描画対象となる主画像（再生画像）をＤＲＡＭ５上に展開し（ステップＳＤ１）、プログラムメモリ１４に記録された描画記録（ログ）に従って、主画像上に各線分を描画する（ステップＳＤ２）。そして、描画された描画後主画像を新規画像としてＪＰＥＧ圧縮し、外部記憶メモリ１２に記録する（ステップＳＤ３）。

なお、この処理において、描画記録（ログ）に従って主画像上に各線分が描画された後に、各線分の太さや色を変更したり、不要な線分を削除したりと、ユーザの好みに応じた編集を行ってもよい。

［第２の実施の形態］
次に、本発明の第２の実施の形態の撮像装置を構成するデジタルカメラについて説明する。本実施の形態の撮像装置を構成するデジタルカメラは、第１の実施の形態の撮像装置を構成するデジタルカメラ１００と構成及び処理において、描画モードにおいてズーム操作を組み合わせる点を除いてほぼ同様である。以下、同様の構成及び処理については、同様の記号を付して説明の重複を省略する。

本実施の形態の撮像装置を構成するデジタルカメラにおいて、再生モードの下位モードである描画モードにズーム操作を組み合わせた場合の動作について説明する。図７は、描画モードにズーム操作を組み合わせた場合の動作概要を示す説明図である。

デジタルカメラの背面には、液晶表示器７と、描画ボタン１３ａを含む各種のスイッチ類が設けられており、再生モードにおいて所望の画像を液晶表示器７に表示させることができる（図７（ａ））。再生モードにおいてユーザが描画ボタン１３ａを押下すると、描画モードに移行し、液晶表示器７には再生画像とともに描画アイコン３０が表示される（図７（ｂ））。

再生画像に装飾を施す際にユーザが再生画像を拡大するズームUP操作を行うと、描画アイコン３０は等倍のまま再生画像が拡大される（図７（ｃ））。描画モードにおいては撮像手段が機能し、描画ボタン１３ａを押下することなくデジタルカメラを動かした場合には、デジタルカメラの動きに応じて描画アイコンが移動し、その様子が液晶表示器７に表示される（図７（ｄ））。一方、描画ボタン１３ａを押下しつつデジタルカメラを動かした場合には、デジタルカメラの動きに応じて描画アイコン３０が移動し、描画アイコン３０の移動経路を示す軌跡３１が再生画像上に描画され、その様子が液晶表示器７に表示される（図７（ｅ））。

このように、ユーザが所望の位置まで描画アイコンを動かしたいときには、描画ボタン１３ａを押下することなくデジタルカメラを動かし、所望の位置から所望の装飾を施すときには、描画ボタン１３ａを押下しつつデジタルカメラを動かす。これを繰り返すことにより、ユーザは所望の形状を再生画像上に描画することができる。

その後、拡大表示されている再生画像をズームＤＯＷＮ操作によって元の倍率に戻すことで、描写された軌跡も同倍率で縮小表示されて軌跡３１’が表示され、再生画像に装飾が施された画像が表示される（図７（ｆ））。所定の操作によって描画モードを終了することにより（図７（ｇ））、再生画像上に描画された合成画像を記憶することができ、ユーザはこの合成画像を再生することができる。

なお、再生モードから描画モードへの移行や、描画モードにおける軌跡の描画等は描画ボタン１３ａの押下によって行っているが、これ以外にも、例えばシャッターキーの押下又は長押し等の所定の操作によることもできる。

図８は、本実施の形態の撮像装置を構成するデジタルカメラにおいて描画モードが設定されているときのＣＰＵ９によって実行される描画モード処理の処理手順を示すフローチャートである。なお、この処理は、図３における描画モード処理に相当し、図８において図５と同様の処理については同様の記号を付し、説明の重複を省略する。
描画モード処理においては、フレームの取り込みを行った後（ステップＳＣ１）、再生画像のズーム操作があったか否かを検出する（ステップＳＥ１）。ズーム操作がない場合は、処理をステップＳＣ２に進める。

一方、ズームボタンの押圧によってズーム操作があったことを検出した場合は、表示画像がまだ拡大された状態ではなく、かつ、ズーム操作がズームＵＰ操作であるか否かを判断し（ステップＳＥ２）、表示画像がまだ拡大された状態ではなくかつズームＵＰであると判断すれば、表示用拡大画像を生成して表示する（ステップＳＥ３）。また、ｋｍ値をｋｍ＝４に更新し（ステップＳＥ４）、処理をステップＳＣ１に戻す。

また、ステップＳＥ２において表示画像がまだ拡大された状態ではない、あるいはズーム操作ズームＵＰでないと判断すれば、表示画像が拡大された状態でかつズーム操作がズームＤＯＷＮであるか否かを判断する（ステップＳＥ５）。表示画像は既に拡大されており、ズーム操作がズームＤＯＷＮ操作であると判断すれば、表示用拡大画像を生成して表示する（ステップＳＥ６）。また、ｋｍ値をｋｍ＝８に更新し（ステップＳＥ７）、処理をステップＳＣ１に戻す。

一方、ステップＳＥ５において表示画像が拡大されていない、あるいはズーム操作がズームＤＯＷＮ操作でないと判断すれば、処理をステップＳＣ１に戻す。

このように、表示画像の拡大操作又は縮小操作に伴うｋｍ値の更新によって、ＧＭＶ検出による描画アイコンの移動量は、仮想上は同じでも、実際の主画像上では１／２となる。

この処理において、描画記録（ログ）に従って主画像上に各線分が描画された後に、各線分の太さや色を変更したり、不要な線分を削除したりと、ユーザの好みに応じた編集を行ってもよい。

また、上述の実施の形態では、図２及び図７に示すように、描画モードにおいて、描画アイコンが、カメラの動きと同様の動きをするものとして説明したが、本発明はこれに限定されない。ユーザの利便性が向上するのであれば、例えば、ＣＰＵが処理する動きベクトルＧＭＶｘ、ＧＭＶｙの符号を反転させることによって、描画アイコンの動きを、カメラの動きと反対となるようにしてもよい。

なお、上述の二つの実施の形態では、描画モードにおいて、再生モードで再生した画像と描画アイコンを重畳して表示画面に表示させる一方で、この表示画面に表示されないが、撮像手段によって複数枚の被写体画像を取得し、これら複数枚の被写体画像の変化に応じて、表示画面の描画アイコンを移動させる構成について説明したが、本発明はこれに限定されない。撮像手段によって取得した被写体画像の変化に応じて変更する表示画面の内容については、描画アイコンの移動のみならず、不要な線分の削除、描画アイコンが描く線分の太さなど、撮像手段によって取得した被写体画像の変化に連動させることが可能なものであれば、如何なるものでもよい。

一例として、撮像手段によって取得した被写体画像の変化に応じて描画アイコンが描く線分の太さを変更する、図１に示したデジタルカメラによって実行可能な処理について図９を参照して簡単に説明する。

図９を参照して、撮像手段によって取得した被写体画像の画面を４分割し、各々の分割した画面において検出手段によって検出される動きベクトルについて説明する。図９（ａ）は、デジタルカメラが被写体に対して略平行な方向に動いた場合に検出される動きベクトルを示す。分割した画面各々で検出される動きベクトルが同一の方向を向いていることがわかる。図９（ｂ）は、デジタルカメラが被写体に対して略垂直で近接する方向に動いた場合に検出される動きベクトルを示す。分割した画面各々で検出される動きベクトルは外側の方向を向くことがわかる。図９（ｃ）は、デジタルカメラが被写体に略垂直で離れる方向に動いた場合に検出される動きベクトルを示す。分割した画面各々で検出される動きベクトルは内側の方向を向くことがわかる。このように、撮像手段によって取得した被写体画像を複数の画面に分割して、それぞれの分割画面から検出される動きベクトルを検出手段によって検出することによって、デジタルカメラが被写体に対して上下左右に移動しているのか、という二次元的な情報に加えて、デジタルカメラが被写体に近接する方向に移動しているのか、あるいは被写体から離れる方向に移動しているのかという情報も得られるので、デジタルカメラの被写体に対する三次元的な動きの情報を得ることができる。

このデジタルカメラの被写体に対する三次元的な動きの情報を用いて、例えば、図９（ａ）に示すように、複数の分割画面から検出されたＧＭＶｘ、ＧＭＶｙの変化方向がほぼ同一と判断される場合は、描画アイコンを移動し、図９（ｂ）に示すように、複数の分割画面から検出されたＧＭＶｘ、ＧＭＶｙの変化方向から、各動きベクトルが原点から離れる方向にある、すなわち、デジタルカメラが被写体に近接する方向に動いていると判断される場合には、描画アイコンが描く軌跡を太くするようにして、図９（ｃ）に示すように、複数の分割画面から検出されたＧＭＶｘ、ＧＭＶｙの変化方向から、各動きベクトルが原点に近づく方向にある、すなわち、デジタルカメラが被写体から離れる方向に動いていると判断される場合には、描画アイコンが描く軌跡を細くするようにしてもよい。また、デジタルカメラの被写体に対する動きは、デジタルカメラ自体をユーザが被写体に対して上下左右遠近等任意の位置に動かすことによって得られるが、デジタルカメラを固定して被写体自体が動くことによって得ることも可能である。

以上、本実施の形態によると、描画モードにおいて、表示画面には再生モードで再生した画像と描画アイコンを重畳して表示させる一方で、この表示画面に表示さずに、撮像手段によって複数枚の被写体画像を取得し、これら複数枚の被写体画像の変化に応じて、表示画面の描画アイコンを移動、又は描画アイコンが描く軌跡の太さを変化させることによって、表示画面に表示される内容を変更することができる。すなわち、表示画面には表示していないが、撮像手段によって取得した被写体画像が移動すると、その移動方向と移動量を検出手段が検出して、移動量及び移動方向に相当する位置に表示画面に表示された描画アイコンを移動、又は描画アイコンが描く軌跡の太さを変化させることができる。

また、上述の実施の形態においては、表示手段に描画アイコンを表示することから、撮像手段によって取得した被写体画像の変化に応じて、表示画面に表示される描画アイコンの移動内容を視認することができ、ユーザの操作に資することができる。特に、描画アイコンの移動軌跡を表示手段に表示して線分を描画し、かつ線分の太さを変化させることにより、被写体画像の変化に応じた描画アイコンの移動履歴を視認することができる。この移動履歴を組み合わせることで、ユーザは任意の形状の描画を実現することができる。

また、表示手段に表示した再生画像を拡大又は縮小することで、その拡大率又は縮小率に応じた変化量を設定（更新）し、より細かい精度で描画モードを実行することができる。

本発明の第１の実施の形態の撮像装置を構成するデジタルカメラの電気的構成を示したブロック図である。 描画モードの基本動作概要を示す説明図である。 図１で示したデジタルカメラにおいて再生モードが設定されているときのＣＰＵの処理手順を示すフローチャートである。 ＣＰＵによって実行される描画モードにおける描画モード準備処理の処理手順を示すフローチャートである。 ＣＰＵによって実行される描画モードにおける描画モード処理の処理手順を示すフローチャートである。 ＣＰＵによって実行される描画モードにおける描画画像記録処理の処理手順を示すフローチャートである。 描画モードにズーム操作を組み合わせた場合の動作概要を示す説明図である。 本発明の第２の実施の形態の撮像装置において、描画モードにズーム操作を組み合わせた場合に実行される描画モード処理の処理手順を示すフローチャートである。 本発明の撮像装置が検出可能な動きベクトルを示す説明図である。

符号の説明

１ レンズ
２ シャッター
３ ＣＭＯＳ
４ Ａ／Ｄ変換器
５ ＤＲＡＭ
６ 液晶表示コントローラ
７ 液晶表示器
８ シャッター制御部
９ ＣＰＵ
１０ 受光制御部
１１ デモザイク部
１２ 外部記憶メモリ
１３ キー入力ブロック
１４ プログラムメモリ
１６ マッチング部
１７ 画像合成加算部
１８ ＳＲＡＭ
３０ 描画アイコン
３１，３１’ 線分

Claims (3)

1. 記憶された画像データを再生画像として描画アイコンとともに表示する表示手段と、
   撮像素子によって時間的に連続する複数枚の被写体画像を取得する撮像手段と、
   前記表示手段が前記再生画像を表示している間に前記撮像手段によって取得した複数枚の被写体画像の変化を検出する検出手段と、
   前記検出手段によって検出した被写体画像の変化に応じて、前記再生画像を変更する再生画像変更手段と、
   前記再生画像変更手段によって前記表示手段に表示された前記描画アイコンを移動する移動手段と、
   前記移動手段によって移動された描画アイコンの軌跡を前記再生画像の上に描画する描画手段と、
   前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成する画像生成手段とを備えるとともに、
   前記検出手段は、変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得するベクトル取得手段を備え、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出し、
   前記描画手段は、前記検出手段によって検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする撮像装置。
2. 記憶された画像データを再生画像として描画アイコンとともに表示し、撮像素子によって時間的に連続する複数枚の被写体画像を取得し、前記再生画像を表示している間に取得した複数枚の被写体画像の変化を検出し、前記検出した被写体画像の変化に応じて、前記再生画像を変更し、前記表示された前記描画アイコンを移動し、前記移動された描画アイコンの軌跡を前記再生画像の上に描画し、前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成するとともに、
   変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得し、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出し、前記検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする撮像装置の画像処理方法。
3. 撮像装置が有するコンピュータを、
   記憶された画像データを再生画像として描画アイコンとともに表示する表示手段と、撮像素子によって時間的に連続する複数枚の被写体画像を取得する撮像手段と、前記表示手段が前記再生画像を表示している間に前記撮像手段によって取得した複数枚の被写体画像の変化を検出する検出手段と、前記検出手段によって検出した被写体画像の変化に応じて、前記再生画像を変更する再生画像変更手段と、前記再生画像変更手段によって前記表示手段に表示された前記描画アイコンを移動する移動手段と、前記移動手段によって移動された描画アイコンの軌跡を前記再生画像の上に描画する描画手段と、前記再生画像に前記描画アイコンの軌跡を描画した描画画像データを生成する画像生成手段として機能させるとともに、
   前記検出手段は、変化前の被写体画像と変化後の被写体画像との間における複数の被写体部分の変化量及び変化方向を示す複数の動きベクトルを取得するベクトル取得手段と、前記複数の動きベクトルに基づいて前記複数枚の被写体画像の三次元的な変化を検出する手段とを含み、前記描画手段は、前記検出手段によって検出した被写体画像の３次元的な変化に応じて、描画される軌跡の太さ及び色の少なくとも一つを含む描画種別を変更可能であることを特徴とする撮像装置の画像処理プログラム。

Images