JP4523047B2 - 撮像装置、撮像方法、及び画像処理デバイス - Google Patents

Description

本発明は、撮像装置、撮像方法、及び画像処理デバイスに関する。特に本発明は、動く被写体に対し、利用者が所望するタイミングで撮像できる、撮像装置、撮像方法、及び画像処理デバイスに関する。

被写体がスポーツをしているときなどにおいて、利用者は、被写体の動きが激しい時を撮像したいと考える。しかし、被写体の動きが急な場合、シャッターを押すタイミングは、撮像を望むタイミングからずれやすくなる。このため、被写体の動きが激しい場合、利用者は、複数の画像を連続的に撮像し、自ら、撮像した複数の画像から所望する画像を選択している（例えば特許文献１参照）。

特開２００１−８６３９５

しかし、従来においては、所望する画像を利用者が選択する必要があった。従って、例えば連写モード或いは動画モードで撮像した画像が多数存在する場合には、利用者の負荷が大きくなっていた。
そこで本発明は、上記の課題を解決することのできる撮像装置、撮像方法、及び画像処理デバイスを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

即ち、本発明の第１の形態によると、被写体を撮像する撮像装置であって、時間的に連続し、それぞれ被写体を含む複数の画像データを、一時的に格納する一時格納部と、一時格納部が格納する複数の画像データを解析して被写体の動作を検出し、検出した被写体の動きに基づいて、複数の画像データから、撮像データとして保存すべき画像データである撮像データを選択する画像解析選択部と、画像解析選択部が選択した画像データを撮像データとして格納する保存用格納部とを備えることを特徴とする撮像装置を提供する。

第１の形態の撮像装置において、画像解析選択部は、さらに、被写体の動きの速度を検出し、被写体の動きが最も速いときの画像データを選択してもよい。
この場合、画像解析選択部は、一時格納部が格納する複数の画像データにおいて、２つの画像データの差分を、被写体の動作を示す情報として算出し、最も大きな差分を示す２つの画像データのうちの少なくとも一方を、保存すべき画像データとして選択してもよい。
さらにこの場合、画像解析選択部は、画像データから被写体の像を切り出し、当該切り出した被写体の像の差分を算出し、最も大きな差分を示す２つの画像データのうちの少なくとも一方を、保存すべき画像データとして選択してもよい。

また、画像解析選択部は、さらに、被写体の動きの加速度を検出し、被写体の動きの加速度が最も大きいときの画像データを選択してもよい。
この場合、画像解析選択部は、一時格納部が格納する複数の画像データにおいて、２つの画像データの差分をそれぞれ算出し、さらに、差分の変化量を算出し、最も大きな差分の変化量を算出するときに用いられた画像データのうちの少なくとも一つを、保存すべき画像データとして選択してもよい。

また、画像解析選択部は、画像データにおける、被写体の、当該被写体の背景画像に対する変位を算出し、変位に基づいて被写体の動きを検出してもよい。
また、画像解析選択部は、さらに、画像中における被写体の動きの速度を検出し、被写体の動きが最も遅いときの画像データを選択してもよい。
また、撮像装置を、眼鏡に、撮像方向が眼鏡の装着者の視線方向と略一致するように取り付ける装着部を更に備えてもよい。

本発明の第２の形態は、被写体を含む画像データを撮像する撮像方法であって、外部から光学的な被写体の像を取り込み、当該光学的な被写体の像に基づいて画像データを時間的に連続して複数生成し、生成した複数の画像データを、一時的にメモリに格納し、演算装置が、メモリに一時的に格納された複数の画像データの少なくとも一部を解析して被写体の動作を検出し、当該検出結果に基づいて、複数の画像データから、保存すべき画像データである撮像データを選択し、演算装置が選択した画像データを撮像データとして保存することを特徴とする撮像方法を提供する。

本発明の第３の形態は、時間的に連続し、それぞれ被写体を含む複数の画像データを一時的に格納する一時格納部と、一時格納部が格納する複数の画像データから選択された保存用の画像データを格納する保存用格納部とを備えた撮像装置に用いられる画像処理デバイスであって、撮像装置に、被写体が最も動いているときの画像データを、保存用の画像データとして選択させるために、一時格納部から２つの画像データを取得し、当該２つの画像データの差分を、被写体の動きとして算出する差分算出部を備えることを特徴とする画像処理デバイスを提供する。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態である撮像装置２００の使用例を説明する図である。撮像装置２００は、ＣＰＵなどの演算装置を内蔵しており、例えばスポーツ選手など動きが激しい被写体を撮像する。ここで、撮像装置２００は、時間的に連続するように複数の画像データを生成し、生成した複数の画像データを、内蔵している演算装置を用いて解析し、被写体の動きを検出する。そして、被写体の動きが最も速い時に撮像された画像データ、又は被写体の動きの加速度が最も大きい時に撮像された画像データを、保存用の記録媒体に格納する。
人がシャッターチャンスと考える典型的なタイミングは、被写体の動きが速いときや、動きが最も変化する場合が多い。従って、撮像装置２００を用いると、利用者が望むタイミングの画像データを得ることができる。

図２は、撮像装置２００の構成を示すブロック図である。撮像装置２００は、操作部２１０、撮像部２２０、一時格納部２４０、画像解析選択部２６０、表示部２８０及び保存用格納部３００を備える。

操作部２１０は、撮像装置２００への入力を利用者から受け付け、この入力に基づいて、撮像部２２０又は画像解析選択部２６０に指示を出力する。

撮像部２２０は、操作部２１０からの指示に基づいて、被写体を含む画像データを時間的に連続するように複数生成し、一時格納部２４０に出力する。詳細には、撮像部２２０は、外光を取り入れる光学系、及び、光学系が取り入れた外光に基づいて画像データを生成する光電変換素子（例えばＣＣＤ）を有する。

一時格納部２４０は、例えば揮発性メモリを有しており、撮像部２２０が撮像した複数の画像データを一時的に格納する。また、一時格納部２４０は、複数の画像データのデータ量が容量を超えそうになったときには、最も古い画像データを消去し、新たな画像データを格納する。

画像解析選択部２６０は、差分算出部２６２を備える。そして、差分算出部２６２を用いて、一時格納部２４０が格納している複数の画像の差分を算出し、被写体の動きを検出する。そして、被写体の動きが最も速い時に撮像された画像データ、又は被写体の動きの加速度が最も大きい時に撮像された画像データを、保存すべき画像データである撮像データとして選択し、表示部２８０に保存用格納部３００に出力する。また、操作部２１０からの指示に基づいて、保存用格納部３００に撮像データを出力する。
なお、差分算出部２６２が行う演算量は多いため、差分算出部２６２は、ソフトウェアではなくハードウェアすなわち画像処理デバイスとして実現されてもよい。画像解析選択部２６０そのものがハードウェアとして実現されてもよい。

表示部２８０は、利用者に確認させるために撮像データを表示する。
保存用格納部３００は、半導体メモリなどのリムーバブルメディアを有しており、リムーバブルメディアに撮像データを格納して保存する。

すなわち、撮像装置２００は、選択した撮像データを表示部２８０に表示して利用者に確認させる。そして、利用者が選択された画像でよい旨を操作部２１０に入力したときに、選択された画像データをリムーバブルメディアに格納する。従って、撮像装置２００が、利用者が望まないタイミングで撮像された画像データを保存する可能性は低くなる。

図３は、撮像装置２００の撮像時の動作の全体を示すフローチャートである。

撮像装置２００の撮像部２２０は、被写体を連続して撮像し（Ｓ２０）、生成した複数の画像データを一時格納部２４０に格納する（Ｓ４０）。そして、撮像が終了する（Ｓ６０：Ｙｅｓ）と、画像解析選択部２６０は、一時格納部２４０が格納する画像データを解析して、保存すべき画像データを選択する（Ｓ８０）。

画像解析選択部２６０は、選択した画像データを表示部２８０に出力し、画像を表示させる（Ｓ１００）。ここで、利用者は、選択された画像データが意図したものであることを確認する。
そして、画像解析部２６０は、操作部２１０から、利用者が選択した画像データを保存したい旨の入力を受信したとき（Ｓ１２０：Ｙｅｓ）、選択した画像データを撮像データとして保存用格納部３００のリムーバブルメディアに格納させる（Ｓ１４０）。
また、画像解析部２６０は、操作部２１０から、利用者が選択した画像データを保存したくない旨の入力を受信したとき（Ｓ１２０：Ｎｏ）、Ｓ８０で選択した画像データの前又は後の画像データを再選択し（Ｓ１６０）、Ｓ１００に戻る。

画像解析選択部２６０は、被写体の動きが最も速い時に撮像された画像データ、又は被写体の動きの加速度が最も大きい時に撮像された画像データを選択する。このため、選択した画像が利用者の意図に沿わない場合、利用者が保存したいと考える画像は、画像解析選択部２６０が選択肢が画像データの前後にある可能性が高い。従って、撮像装置２００によれば、利用者が保存したいと考える画像を効率よく選択することができる。

図４は、図３のＳ８０、すなわち画像解析選択部２６０が画像データを解析して選択するときの動作例を示すフローチャートである。本フローチャートは、被写体が最も速く動いているときの画像データを選択するための処理を示す。

画像解析選択部２６０は、まず、各画像データから被写体の像を切り出す（Ｓ３００）。被写体の像の切り出しは、例えば以下のように行う。すなわち、撮像領域中の、撮像装置２００からの距離分布を、予め測定する。また、撮像領域中の、フォーカスが合っている部分を記憶しておく。そして、フォーカスが合っている部分から、距離が連続的に変化している領域を、被写体と認識して切り出す。
また、人の体躯のテンプレートを予め保持しておき、このテンプレートを用いて被写体の像を切り出してもよい。この場合は、まず顔の形をした肌色エリアを検出することで顔の位置を検出する。そして、検出した顔の位置を起点に体躯のテンプレートを用いることで、体躯部分を検出する。そして、体躯部分から色彩又は距離が連続している部分を手足として検出する。人がラケットやバットなどを保持している場合、ラケットやバットも併せて検出される。なお、手と足は顔からの距離に基づいて区別される。

次に、一時格納部２４０が格納する複数の画像データから、時間的に連続する２枚の画像データを選択し、選択した２枚の画像データに含まれる被写体の像の、画像データ中の位置の差分を算出する（Ｓ３２０）。
そして、被写体像の差分を、すべての前後する２枚の被写体像に対して算出した（Ｓ３４０）後、最も大きな値を示した差分を算出するときに用いられた２枚の被写体像の一方を含む画像データを選択する（Ｓ３６０）。

被写体の動作が最も速いとき、時間的に連続する２つの被写体像の差分は最も大きくなる。従って、画像解析部２６０は、本図に示した処理を実行することで、被写体の動作が最も速いときの画像データを選択することができる。

図５は、図３のＳ８０の他の動作例を示すフローチャートである。本フローチャートは、被写体の加速度が最も大きいときの画像データを選択するための処理を示す。

画像解析選択部２６０は、図４のＳ３００と同様の動作を行い、各画像データから被写体の像を切り出す（Ｓ４００）。そして、図４のＳ３２０と同様の動作を行い、時間的に連続する２枚の画像データ中の被写体像の位置の差分を、撮像時間順に算出する（Ｓ４２０）。すなわち、２つの被写体像の位置の差分を算出した後、時間的に後に位置する被写体像と、この被写体像の次に撮像された被写体像との差分を算出する。この処理を、繰り返し行う。

そして、新たに算出した差分の、一つ前に算出した差分に対する差を算出することで、差分の変化量を算出する（Ｓ４４０）。すなわち、互いに前後する３枚の被写体像を用いて、被写体像の差分の変換量を算出する。
そして、被写体像の差分の変化量を、すべての互いに前後する３枚の被写体像に対して算出した（Ｓ４６０）後、最も大きな変化量を算出するときに用いられた３枚の被写体像の一つを含む画像データを選択する（Ｓ４８０）。

被写体の動作の加速度が最も大きいとき、時間的に連続する３つの被写体像から算出される差分の変化量は最も大きくなる。従って、画像解析選択部２６０は、本図に示した処理を実行することで、被写体の動作の加速度が最も大きいときの画像データを選択することができる。

図６は、図３のＳ８０の更に他の動作例を示すフローチャートである。
画像解析選択部２６０は、図４のＳ３００と同様の動作を行い、各画像データから被写体の像を切り出す（Ｓ６００）。ここで、画像解析選択部２６０は、画像データから被写体の像を切り出した後に残った画像を、背景画像として扱う。
そして、図４のＳ３２０と同様の動作を行い、撮像時間順に、被写体像の差分を算出する（Ｓ６２０）。また、図４のＳ３２０と同様の処理を背景画像に対して行うことで、背景画像の差分を算出する（Ｓ６４０）。そして、被写体像の差分から、背景画像の差分を差し引くことで、被写体像の、背景画像に対する変位量を算出する（Ｓ６６０）。
そして、被写体像の背景画像に対する変位量を、全ての画像に対して算出した（Ｓ６８０）後、最も大きな変位量を示した２枚の画像データの一方を選択する（Ｓ７００）。

撮像装置２００が手ぶれなどにより動いたとき、被写体像及び背景画像は、それぞれ、画像データ中において同じ量ほど動く。すなわち、前後する被写体像の差分、及び前後する背景画像の差分は、同じ量となる。
ここで、図６に示す処理を実行すると、被写体像の差分から背景画像の差分を差し引くため、撮像装置２００の動きに起因した差分は相殺される。従って、被写体の動作に起因した被写体像の差分を算出することができる。

図７は、図３のＳ８０の更に他の動作例を示すフローチャートである。画像解析選択部２６０は、前後する２枚の画像の隅の移動ベクトルを算出する（Ｓ７００）。画像の隅には静止物が写っている可能性が高いため、画像解析選択部２６０は、この移動ベクトルを手ぶれに起因した画像のずれと扱うことができる。移動ベクトルは、例えば以下のように算出する。すなわち、前の画像の隅に写っている物が、後の画像において何処に位置するかを検出し、その差分を移動ベクトルとする。ここで、画像の４隅の移動ベクトルの平均値を算出してもよいし、フォーカス中心（すなわち被写体）から最も離れた隅に写っている物の移動ベクトルを算出してもよい。

そして、算出した移動ベクトルに基づいて、一方の画像を動し（Ｓ７１０）、手ぶれを補正する。そして、動かした後の２枚の画像全体の差分を算出する（７２０）。手ぶれに起因した画像の差分はＳ７１０で補正されているため、ここで算出した画像全体の差分は、被写体の移動量が大きくなるにつれて大きくなる。
そして、すべての前後する２枚の画像において画像全体の差分を算出した（Ｓ７３０）後、最も大きな差分を示した２枚の画像の一つを、保存すべき画像として選択する（Ｓ７４０）。

従って、本図に示す処理を実行すると、画像解析選択部２６０は、被写体を切り出すことなく、最も被写体の動きが大きい画像を選択することができる。

なお、背景が画像全面に渡ってほぼ同じ場合、Ｓ７００及びＳ７１０の処理を省略してもよい。背景のエッジが検出できる場合は、Ｓ７００で、このエッジの移動ベクトルを手ぶれに起因した画像のずれとして算出してもよい。

図８は、撮像装置２００の変形例である撮像システム４００を示す。撮像システム４００は、撮像装置４１０及び画像処理装置４２０を有する。撮像装置４１０は、眼鏡フレームに組み付けられる。このとき、撮像装置４１０の撮像方向は、眼鏡フレームを装着した利用者の視線方向と概略一致する。

撮像装置４１０は、画像処理装置４２０からの指示に基づいて、画像データを時間的に連続して生成する。そして画像処理装置４２０は、撮像装置４１０が生成した複数の画像データを無線で受信し、これらを解析することで、被写体の動きが最も速い時に撮像された画像データ、又は被写体の動きの加速度が最も大きい時に撮像された画像データを選択する。そして、選択した画像データを、保存用の記録媒体に格納する。

従って、撮像システム４００によれば、例えばスポーツをしている人の視点から見た画像であり、かつ、ボールなどの被写体の動きが最も速いタイミングの画像を得ることができる。

図９は、撮像装置４１０の正面図である。撮像装置４１０は、眼鏡フレームに撮像装置４１０を取り付けるための取付部４１２を有する。取付部４１２は、断面が略Ｃ字状であり、眼鏡フレームを填め込むことで、撮像装置４１０を取り付ける。

図１０は、撮像装置４１０の機能を示すブロック図である。撮像装置４１０は、撮像部２２０及び通信部４１４を有する。撮像部２２０の構成は、図２と同じである。通信部４１４は、画像処理装置４２０からの指示を受信し、受信した指示を撮像部２２０に出力する。また、通信部４１４は、撮像部２２０が生成した画像データを、無線通信により画像処理装置４２０に送信する。

図１１は、画像処理装置４２０の機能を示すブロック図である。画像処理装置４２０は、通信部４２２、操作部２１０、一時格納部２４０、画像解析選択部２６０、表示部２８０、及び保存用格納部３００を有する。すなわち、画像処理装置４２０は、図２に示す撮像装置２００と概略同じ構成であるが、撮像部２２０の代わりに通信部４２２を有している。通信部４２２は、操作部２１０から入力された指示を、撮像装置４１０に送信する。また、通信部４２２は、撮像装置４１０から送信された画像データを受信し、一時格納部２４０に格納する。それ以外の点では、構成及び動作は同じであるため、説明を省略する。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

例えば、図３のフローチャートのＳ８０において、図１２に示す処理を実行してもよい。この処理を実行することで、撮像装置２００は、画像データに静止している被写体を含んでいる場合において、手ぶれが最も小さいときの画像データを選択して保存することができる。
すなわち、画像解析選択部２６０は、図１２において、図４に示すＳ３００〜Ｓ３４０までの処理を実行した後、最も小さな値を示した差分を算出するときに用いられた２枚の被写体像の一方を含む画像データを選択する（Ｓ３７０）。

被写体が静止している場合において、時間的に連続する２つの被写体像の差分は手ぶれに起因して生じる。従って、画像解析部２６０は、本図に示した処理を実行することで、手ぶれが最も小さいときの画像データを選択することができる。

また、保存用格納部３００をハード的に別の装置に設けてもよい。この場合、撮像装置２００は、画像解析選択部２６０が選択した画像を例えば移動通信網及びインターネットを介して保存用格納部３００に送信してもよい。

上記説明から明らかなように、本発明によれば、利用者に負荷をかけることなく、利用者が所望するタイミングで撮像された画像を選択することができる。

本発明の一実施形態である撮像装置２００の使用例を説明する図である。 撮像装置２００の構成を示すブロック図である。 撮像装置２００の撮像時の動作を示すフローチャートである。 画像解析選択部２６０が画像データを解析して選択するときの動作例を示すフローチャートである。 画像解析選択部２６０が画像データを解析して選択するときの他の動作例を示すフローチャートである。 画像解析選択部２６０が画像データを解析して選択するときの更に他の動作例を示すフローチャートである。 画像解析選択部２６０が画像データを解析して選択するときの更に他の動作例を示すフローチャートである。 撮像装置２００の変形例である撮像システム４００を示す図である。 撮像装置４１０の正面図である。 撮像装置４１０の機能を示すブロック図である。 画像処理装置４２０の機能を示すブロック図である。 撮像装置２００の変形例における、画像解析選択部２６０が画像データを解析して選択するときの動作例を示すフローチャートである。

符号の説明

２００ 撮像装置
２４０ 一時格納部
２６０ 画像解析選択部
３００ 保存用格納部
４００ 撮像システム
４１０ 撮像装置
４１２ 装着部
４２０ 画像解析装置

Claims (5)

1. 時間的に連続し、被写体をそれぞれ含む複数の画像データを、一時的に格納する一時格納部と、
   前記一時格納部が格納している前記複数の画像データから前記被写体の像を切り出し、時間的に連続する２枚の前記画像データを選択し、選択した２枚の前記画像データに含まれる前記被写体の像の前記画像データにおける位置の差分を算出し、最も小さい値を示した差分が算出されたときに用いられた２枚の前記画像データの少なくとも一方を選択する画像解析選択部と、
   前記画像解析選択部が選択した前記画像データを撮像データとして格納する保存用格納部と
   を備える撮像装置。
2. 前記画像解析選択部は、前記画像データの撮像領域における前記撮像装置からの距離分布を用いて、フォーカスが合っている部分から距離が連続的に変化している領域を、前記被写体の像として前記画像データから切り出す請求項１に記載の撮像装置。
3. 前記画像解析選択部は、予め保持している人の体躯のテンプレートを用いて、前記画像データから体躯部分を検出し、前記体躯部分から色彩または距離が連続している部分までの領域を前記被写体の像として前記画像データから切り出す請求項１に記載の撮像装置。
4. 時間的に連続し、被写体をそれぞれ含む複数の画像データを、一時的に格納する段階と、
   一時的に格納している前記複数の画像データから前記被写体の像を切り出し、時間的に連続する２枚の前記画像データを選択し、選択した２枚の前記画像データに含まれる前記被写体の像の前記画像データにおける位置の差分を算出し、最も小さい値を示した差分が算出されたときに用いられた２枚の前記画像データの少なくとも一方を選択する段階と、
   選択された前記画像データを撮像データとして格納する段階と
   を備える撮像方法。
5. 時間的に連続し、被写体をそれぞれ含む複数の画像データを、一時的に格納する一時格納部と、
   前記一時格納部が格納している前記複数の画像データから前記被写体の像を切り出し、時間的に連続する２枚の前記画像データを選択し、選択した２枚の前記画像データに含まれる前記被写体の像の前記画像データにおける位置の差分を算出し、最も小さい値を示した差分が算出されたときに用いられた２枚の前記画像データの少なくとも一方を選択する画像解析選択部と、
   前記画像解析選択部が選択した前記画像データを撮像データとして格納する保存用格納部と
   を備える画像処理装置。

Images