JP4110560B2 - 画像処理方法及びその装置 - Google Patents
画像処理方法及びその装置 Download PDFInfo
- Publication number
- JP4110560B2 JP4110560B2 JP13844998A JP13844998A JP4110560B2 JP 4110560 B2 JP4110560 B2 JP 4110560B2 JP 13844998 A JP13844998 A JP 13844998A JP 13844998 A JP13844998 A JP 13844998A JP 4110560 B2 JP4110560 B2 JP 4110560B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- contour
- extracting
- extraction
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法及びその装置に関し、特に、動きを伴う被写体の連写画像に適用できる画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
ディジタルカメラなどを用いて電子的に記録された画像データは、加工や編集が容易であり、パーソナルコンピュータなどを用いれば、レタッチやトリミングあるいは色合いの調整を簡単に行うことができるが、高度な編集、例えば、画像中の任意部分を切り出したり、その切り出し部分を他の画像に貼り付けたりするような編集操作は、もっぱらそれに応じた特殊な機能を備えた画像編集ソフトを使用しなければならない。
【０００３】
ここで、一部のディジタルカメラにおいて、「連写撮影」と呼ばれるモードを備えたものがある。このモードで撮影すると、短い間隔で複数の画像を記録でき、動きを伴う被写体、例えば、ゴルフスイング、野球やボーリングの投球フォームなどを時系列的に記録してフォーム分析に役立つ画像を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の連写撮影モードにあっては、撮影された複数の画像を、単に一つの画面上に並べている（図８参照）に過ぎず、全体の動き（フォームの流れなど）を視覚的に把握するという点で不十分であり、この点において、改善すべき課題があった。
【０００５】
そこで本発明は、被写体の動きを視覚的に把握できる優れた表現力を具備した画像処理方法及びその装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明に係る画像処理方法は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、前記第１抽出工程によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除工程と、前記他の画像について動き領域の抽出を行う第２抽出工程と、前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し工程と、前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、を含むことを特徴とする。
請求項２記載の発明に係る画像処理方法は、請求項１記載の画像処理方法において、さらに、前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程を含み、前記切り出し工程は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする。
請求項３記載の発明に係る画像処理方法は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、前記他の画像について動き領域の抽出を行う第２抽出工程と、前記第１抽出工程によって抽出された輪郭線情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程と、前記マスク画像生成工程によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し工程と、前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、を含むことを特徴とする。
請求項４記載の発明に係る画像処理装置は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、前記第１抽出手段によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除手段と、前記他の画像について動き領域の抽出を行う第２抽出手段と、前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し手段と、前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、を備えたことを特徴とする。
請求項５記載の発明に係る画像処理装置は、請求項４記載の画像処理装置において、さらに、前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段を備え、前記切り出し手段は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする。
請求項６記載の発明に係る画像処理装置は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、前記他の画像について動き領域の抽出を行う第２抽出手段と、前記第１の抽出手段によって抽出された輪郭線情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段と、前記マスク画像生成手段によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し手段と、前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、を備えたことを特徴とする。
請求項７記載の発明に係る画像処理装置は、請求項４乃至６の何れかに記載の画像処理装置において、前記基準とする画像を除く他の画像の一部を抽出や画像合成の対象とすることを特徴とする。
請求項８記載の発明に係る記録媒体は、請求項４記載の第１抽出手段、輪郭線排除手段、第２抽出手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする。
請求項９記載の発明に係る記録媒体は、請求項６記載の第１抽出手段、第２抽出手段、マスク画像生成手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする。
【０００７】
【発明の実施の形態】
１．実施の形態その１（アプリケーションソフトへの応用）
以下、本発明の実施の形態を、画像編集ソフトを例にして、図面を参照しながら説明する。
図１において、１は連写撮影モードで記録された複数の画像（以下、連写画像と言う）であり、ここでは、便宜的に野球の投球フォームを記録した４枚の画像１ａ〜１ｄで構成されているものとする。なお、これらの画像１ａ〜１ｄの記録装置については、特に限定しない。連写モードを備えたディジタルカメラはもちろんのこと、ディジタルビデオカメラであってもよい。ディジタルビデオカメラの場合、必要なシーンの画像をコマ落しで出力すれば、ディジタルカメラと同様な連写画像を得られる。
【０００８】
２は、本実施の形態における「画像編集ソフト」であり、図では、便宜的に主要な部分を機能ブロックで表現している。なお、この画像編集ソフト２は、パーソナルコンピュータ上で動作するアプリケーションプログラムの一つである。
一般に、あらゆるアプリケーションプログラムは、オペレーティングシステム（各種ドライバソフトやＤＬＬ及びＯＣＸなどの共有コンポーネントを含む）と、パーソナルコンピュータを構成する様々なハードウェア資源との有機的結合によって始めて所要の機能を発揮するものであり、この点において、本実施の形態における画像編集ソフト２も例外ではないが、オペレーティングシステムの働きやパーソナルコンピュータの基本的な動作については、当業者の常識範囲であるから、以下の説明においては、特に発明の理解に必要と思われる事項を除いて説明を省略することにする。
図１において、画像編集ソフト２の主要部分と、その機能の概要は以下のとおりである。
【０００９】
＜輪郭線抽出部３＞
連写画像１の中で最初に記録された画像１ａを除く他の画像１ｂ〜１ｄの輪郭線を抽出する部分である。ここで、輪郭線とは画像のエッジ部分のことであり、人間の視覚上、輝度や色の変化が段差を持って大きく認識される部分のことである。輪郭線の抽出方法としては、例えば、濃淡画像（カラー又はモノクロ）の注目画素とその周辺画素の値（輝度や色の値）を比較して所定値以上の差がある場合に、その注目画素を輪郭線上の画素とみなす方法を利用できる。
【００１０】
ところで、画像中の輪郭線は、上述のとおり「画像のエッジ部分」であり、例えば、人間の顔を例にすれば、顔の輪郭以外にも頭髪の生え際、眉毛、目、鼻又は口の輪郭などあらゆるエッジ部分が該当するが、本実施の形態においては、これらの輪郭線の全部を必要としない。すなわち、上記例示に従えば、顔の輪郭線だけが必要で、その輪郭線に内包された、頭髪の生え際、眉毛、目、鼻又は口の輪郭などは必要としない。その理由は、後の説明でも明らかになると思うが、上記輪郭線を入力画像の切り出しに用いるからであり、上記例示に従えば、入力画像から「顔」の部分だけを切り出すために使用されるからである。
したがって、輪郭線抽出部３は、上記の一の機能、すなわち、「連写画像１のうち最初に記録された画像１ａを除く他の画像１ｂ〜１ｄの輪郭線を抽出する」（図２の符号イ→符号ロ参照）ことに加えて、さらに、「閉じた輪郭線に内包された他の輪郭線を排除（除外）する」（図２の符号ロ→符号ハ参照）という二の機能も有している。
【００１１】
＜動き領域抽出部４＞
連写画像１の動き領域を抽出する部分である。動き領域は、例えば、時間軸上に隣り合う二つの画像の同一画素を位置比較して所定値以上の位置ずれがある場合に、その画素を動き領域の画素として判定することができる。
【００１２】
＜輪郭線修正部５＞
動き領域抽出部４で抽出された動き領域の情報は、この輪郭線修正部５において、上記輪郭線抽出部３で抽出された輪郭線の中から動きを伴う輪郭線だけを最終的に取り出すため、言い換えれば、背景画像の輪郭線を排除（除外）するために用いられる。
図３は、動き部分だけの輪郭線を用いて生成された画像切り出し用のマスク画像である。（ａ）は画像１ｂに対応するマスク画像、（ｂ）は画像１ｃに対応するマスク画像、（ｃ）は画像１ｄに対応するマスク画像であり、いずれも白抜き部分が画像の切り出し範囲である。
【００１３】
＜画像合成部６＞
連写画像１から所要の合成画像７を生成する部分である。この合成画像７は、連写画像１の中で最初に記録された画像１ａをベースにして、その上に他の画像１ｂ〜１ｄの動き部分を順次に積み重ねた画像であり、要するに、全体の動き（図示の計では投球フォームの流れ）を視覚的に把握しやすいように加工した画像である。
【００１４】
この合成画像７は、以下の手順▲１▼〜▲４▼により生成される。まず、▲１▼連写画像１の中で最初に記録された画像１ａは、ベース画像としてそのまま画像合成部６に入力される。▲２▼他の画像１ｂ〜１ｄについては、輪郭線抽出部３、動き領域抽出部４及び輪郭線修正部５で動き部分の輪郭線が抽出され、この輪郭線から切り出し用のマスク画像（図３参照）が生成される。そして、▲３▼マスク画像と元画像１ｂ〜１ｄが画像合成部６に入力され、この画像合成部６で元画像１ｂ〜１ｄの動き部分の画像が切り出されるとともに、これらの動き部分の画像が各画像の記録順にベース画像の上に積み重ねられる結果、図示の合成画像７が作られる。
【００１５】
以上のとおり、本実施の形態の「画像編集ソフト」によれば、動きを伴う被写体の連写画像１を入力するだけで、その連写画像１を構成する１枚目の画像１ａをベース画像として、その画像１ａの上に２枚目から４枚目までの画像１ｂ〜１ｄの動き部分の絵が積層合成されるので、例えば、当該連写画像１を野球の投球フォームとすれば、フォームの流れを１枚の合成画像７にまとめることができ、きわめて表現力に優れた画像の加工を特別な手順等を要することなく行うことができるという格別な効果が得られる。なお、上記実施の形態では、パーソナルコンピュータ上で動作するアプリケーションプログラムを例にしたが、これに限定されない。例えば、プリンタなどの画像印刷装置に内蔵されたファームウェアであってもよいし、あるいは、以下に説明するディジタルカメラやディジタルビデオカメラの内蔵プログラムであってもよい。
【００１６】
２．実施の形態その２（ディジタルカメラへの応用）
図４は、本実施の形態におけるディジタルカメラの外観図である。ディジタルカメラ１０は、特に限定しないが、本体部１１と、この本体部１１に回動可能に取り付けられたカメラ部１２とに分かれており、カメラ部１２の前面（図面の裏面側）には図示を略したレンズが装着されている。レンズの後ろには、これも図示を略したＣＣＤ（電荷結合素子）が取り付けられており、後述の撮影モードの際に、レンズから取り込まれた被写体の像を電気信号に変換して所定周期のフレーム画像を生成できるようになっている。
【００１７】
一方、本体部１１には、画像（本実施の形態では、特に連写画像とその合成画像）を確認するための平面表示装置、例えば、液晶ディスプレイ１３が取り付けられているほか、シャッターキー１４を始めとする各種の操作キー類が適宜の位置に取り付けられている。ちなみに、操作キーは、例えば、プラスキー１５、マイナスキー１６、デリートキー１７、電源スイッチ１８、モードキー１９、ディスプレイキー２０、ズームキー２１、セルフタイマーキー２２、ファンクションスイッチ２３などであり、これら各キーのうち、特に後述のフローチャートの動作を理解するのに必要と思われるものを説明すれば以下のとおりである。
【００１８】
（１）シャッターキー１４：
通常の撮影や連写撮影などの撮影モードではその名前通りの役目を果たすが、撮影済みの画像を再生する再生モードでは選択された機能の「実行」キーの役割を果たす。
（２）プラスキー１５：
シングル表示の場合は表示画像をプラス方向（最新画像の方向）に向かって選択するキー、マルチ画面（連写画像の表示画面含む）や各種設定画面の場合は画面上のカーソルを下や右方向へ移動させるキーである。
（３）マイナスキー１６：
方向が逆向きである以外、プラスキーと同じ機能である。
（４）モードキー１９：
撮影モードや再生モードにおいて、様々な機能を選択するキーであり、特に、本実施の形態では、連写画像の合成画像を表示したり、出力したりする機能を選択できるものである。
（５）ファンクションスイッチ２３：
撮影モードと再生モードを切り替えるスライドスイッチである。上にスライドすると撮影モード、下にスライドすると再生モードになる。
【００１９】
図５は、本実施の形態におけるディジタルカメラのブロック図である。３０はレンズ、３１はＣＣＤ、３２は垂直ドライバ、３３はタイミング発生器（ＴＧ：Timing Generator）、３４はサンプルホールド回路、３５はアナログディジタル変換器、３６はカラープロセス回路、３７はＤＭＡコントローラ、３８はＤＲＡＭインターフェース、３９はＤＲＡＭ、４０はフラッシュメモリ、４１はＣＰＵ、４２はＪＰＥＧ（Joint Photographic Coding Experts Group）回路、４３はＶＲＡＭ、４４はＶＲＡＭコントローラ、４５はディジタルビデオエンコーダ、４６は液晶ディスプレイ（図４の符号１３と同じもの）、４７はバス、４８はキー入力部、４９はタッチパネルである。
【００２０】
キー入力部４８は、上述の様々な操作キーを備えるほか、液晶ディスプレイ４６の前面に取り付けられたタッチパネル４９からの座標情報を所定の信号形式に変換してＣＰＵ４１に出力するタッチパネルインターフェース５０を備えていてもよい。なお、タッチパネル４９は図６に示すように、液晶ディスプレイ４６の画面と同程度の大きさの透明パネル４９ａに多数の縦横配線４９ｂ、４９ｃを敷設し、配線の各交差点に小さなスイッチ４９ｄを形成したものであり、指やペン先で触れた位置のスイッチがオンになって、その位置の座標情報を生成するものである。
【００２１】
記録モードにおいては、まず、レンズ３０の後方に配置されたＣＣＤ３１が垂直ドライバ３２やタイミング発生器３３からの信号で駆動され、レンズ３０で集められた映像が一定周期毎に光電変換されて１画面分の画像信号が出力される。そして、この画像信号がサンプルホールド回路３４でサンプリングされ、アナログディジタル変換器３５でディジタル信号に変換された後、カラープロセス回路３６でディジタルの輝度・色差マルチプレクス信号（ＹＵＶ信号）が生成される。このＹＵＶ信号は、ＤＭＡコントローラ３７及びＤＲＡＭインターフェイス３８を介してＤＲＡＭ３９に転送され、ＤＲＡＭ３９への転送完了後に、ＣＰＵ４１によって読み出され、ＶＲＡＭコントローラ４４及びディジタルビデオエンコーダ４５を介して液晶ディスプレイ４６に送られ表示される。
【００２２】
この状態でカメラの向きを変えると、ＤＲＡＭ３９に保存されているＹＵＶ信号が書き換えられ、同時に液晶ディスプレイ４６に表示されている画像も変化するが、適宜の時点（所望の構図が得られた時点）で、シャッターキー１４を押し下げると、ＤＲＡＭ３９に保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ４６に表示されている画像も同時点の画像に固定される。
そして、その時点でＤＲＡＭ３９に保存されているＹＵＶ信号は、ＤＲＡＭインターフェイス３８を介してＪＰＥＧ回路４２に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ４０に書き込まれ、１画面分のＪＰＥＧ画像として記録される。
【００２３】
以上の流れが、通常の撮影モードであるが、いわゆる連写撮影モードでは一回のシャッター操作で連続的に複数枚の画像を記録する。図８は、連写画像の一例であり、先の実施の形態と同様な野球の投球フォームの画像１ａ〜１ｄである。画像１ａ〜１ｄの撮影順は、左上の画像１ａ、右上の画像１ｂ、左下の画像１ｃ、右下の画像１ｄである。
【００２４】
図７は、上記連写画像１ａ〜１ｄの合成画像を生成・表示するフローチャートであり、このフローチャートは、例えば、所望の連写画像を液晶ディスプレイ４６に表示している状態で、モードキー１９を操作することによって実行されるものである。
フローを開始すると、まず、連写画像を構成する最初（順番は撮影順）の画像１ａを読み込み（Ｓ１０）、この最初の画像１ａをベース画像として作業メモリ上に一時記憶（Ｓ３０）した後、次順の画像１ｂを読み込む（Ｓ１０）。次に、この画像１ｂの輪郭抽出と動き領域抽出を行い（Ｓ４０、Ｓ５０）、これらの輪郭情報と動き情報に基づいて画像１ｂに対するマスク画像を生成する（Ｓ６０）。さらに、残りの画像１ｃ、１ｄについても、同様に輪郭抽出、動き領域抽出及びマスク画像生成を行い（Ｓ１０、Ｓ４０、Ｓ５０、Ｓ６０）、最後の画像１ｄの処理を終えると、マスク画像を用いて各画像１ｂ〜１ｄの動き部分を切り出し、その切り出し画像を一時記憶しておいたベース画像（画像１ａ）の上に順次に積み重ねて合成画像を生成し（Ｓ８０）、最後にその合成画像をフラッシュメモリ４０に記録すると同時に液晶ディスプレイ４６に表示（Ｓ９０）して処理を終了する。
【００２５】
図９は、液晶ディスプレイ４６の表示例であり、図８の連写画像１ａ〜１ｄのうち撮影順１枚目の画像１ａの上に、他の画像１ｂ〜１ｄの動き部分が積層合成された様子が認められる。
したがって、本実施の形態のディジタルカメラ１０によれば、例えば、野球の投球フォームを連写モードで撮影し、その場で上記のフローチャートを実行して図８の合成画像７を液晶ディスプレイ４６に表示できるから、フォームの研究などに用いて極めて好都合な表現力に優れた加工画像の表示を行うことができるという格別な効果が得られる。
【００２６】
なお、以上二つの実施の形態では、連写画像１を構成する複数の画像１ａ〜１ｄの全部を用いて合成画像７を生成したが、これに限らない。必要な画像だけを選択できるようにしてもよい。例えば、上記のディジタルカメラ１０の場合であれば、タッチパネル４９ａを用いて画像を選択できるようにしてもよい。
【００２７】
また、上記ディジタルカメラ１０で撮影する際は、三脚等で固定することが望ましい。動き部分の検出を行っているからであり、手ぶれがあると動き検出に悪影響を与えるからである。しかしながら、いちいち三脚等をセットすることは面倒であるから、好ましくは、手ぶれ補正等の技術を応用すべきである。例えば、時間軸上で隣り合うフレーム画像の画素位置相関を行い、同一方向でしかも同程度の位置ずれがある画素については、手ぶれによる位置ずれと判断して動き部分の検出に用いないようにしてもよい。
【００２８】
【発明の効果】
本発明によれば、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出と動き領域の抽出を行い、これらの輪郭線情報と動き領域情報とに基づいて前記他の画像の動き部分を切り出し、その切り出し部分を前記基準とする画像の上に積層して合成画像を生成するので、１枚の画像の上に各画像の動き部分を合成した表現力豊かな画像を生成でき、例えば、野球の投球フォームの研究などに用いて好適な画像処理方法又はその装置を実現できる。
請求項１又は４記載の発明によれば、さらに、前記抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除し、輪郭線が排除された後の閉じた輪郭線の情報と動き領域情報とに基づいて、前記他の画像の動き部分を切り出すので、切り出し部分に不要な部分を含ませないようにすることができる。
請求項７記載の発明によれば、前記基準とする画像を除く他の画像の一部を抽出や画像合成の対象とするので、所要の画像の間引きなどを適宜に行うことができ、合成画像のアレンジ性の向上を図ることができる。
請求項２、３、５、又は６記載の発明によれば、輪郭線情報と動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するので、動き部分の切り出しを確実に行うことができる。
【図面の簡単な説明】
【図１】実施の形態（その１）の構成図である。
【図２】実施の形態（その１）の輪郭線抽出及び余分な輪郭線排除の概念図である。
【図３】実施の形態（その１）のマスク画像の概念図である。
【図４】実施の形態（その２）の外観図である。
【図５】実施の形態（その２）のブロック図である。
【図６】実施の形態（その２）のタッチパネルの構成図である。
【図７】実施の形態（その２）のフローチャートである。
【図８】実施の形態（その２）の連写画像の表示状態図である。
【図９】実施の形態（その２）の合成画像の表示状態図である。
【符号の説明】
１ 連写画像
１ａ 最初の画像
１ｂ〜１ｄ 他の画像
３ 輪郭線抽出部（検出手段、抽出手段）
４ 動き領域抽出部（検出手段、抽出手段）
６ 画像合成部（生成手段、切り出し抽出手段、第１生成手段、第２生成手段）
７ 合成画像
【発明の属する技術分野】
本発明は、画像処理方法及びその装置に関し、特に、動きを伴う被写体の連写画像に適用できる画像処理方法及びその装置に関する。
【０００２】
【従来の技術】
ディジタルカメラなどを用いて電子的に記録された画像データは、加工や編集が容易であり、パーソナルコンピュータなどを用いれば、レタッチやトリミングあるいは色合いの調整を簡単に行うことができるが、高度な編集、例えば、画像中の任意部分を切り出したり、その切り出し部分を他の画像に貼り付けたりするような編集操作は、もっぱらそれに応じた特殊な機能を備えた画像編集ソフトを使用しなければならない。
【０００３】
ここで、一部のディジタルカメラにおいて、「連写撮影」と呼ばれるモードを備えたものがある。このモードで撮影すると、短い間隔で複数の画像を記録でき、動きを伴う被写体、例えば、ゴルフスイング、野球やボーリングの投球フォームなどを時系列的に記録してフォーム分析に役立つ画像を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の連写撮影モードにあっては、撮影された複数の画像を、単に一つの画面上に並べている（図８参照）に過ぎず、全体の動き（フォームの流れなど）を視覚的に把握するという点で不十分であり、この点において、改善すべき課題があった。
【０００５】
そこで本発明は、被写体の動きを視覚的に把握できる優れた表現力を具備した画像処理方法及びその装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の発明に係る画像処理方法は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、前記第１抽出工程によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除工程と、前記他の画像について動き領域の抽出を行う第２抽出工程と、前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し工程と、前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、を含むことを特徴とする。
請求項２記載の発明に係る画像処理方法は、請求項１記載の画像処理方法において、さらに、前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程を含み、前記切り出し工程は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする。
請求項３記載の発明に係る画像処理方法は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、前記他の画像について動き領域の抽出を行う第２抽出工程と、前記第１抽出工程によって抽出された輪郭線情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程と、前記マスク画像生成工程によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し工程と、前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、を含むことを特徴とする。
請求項４記載の発明に係る画像処理装置は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、前記第１抽出手段によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除手段と、前記他の画像について動き領域の抽出を行う第２抽出手段と、前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し手段と、前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、を備えたことを特徴とする。
請求項５記載の発明に係る画像処理装置は、請求項４記載の画像処理装置において、さらに、前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段を備え、前記切り出し手段は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする。
請求項６記載の発明に係る画像処理装置は、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、前記他の画像について動き領域の抽出を行う第２抽出手段と、前記第１の抽出手段によって抽出された輪郭線情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段と、前記マスク画像生成手段によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し手段と、前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、を備えたことを特徴とする。
請求項７記載の発明に係る画像処理装置は、請求項４乃至６の何れかに記載の画像処理装置において、前記基準とする画像を除く他の画像の一部を抽出や画像合成の対象とすることを特徴とする。
請求項８記載の発明に係る記録媒体は、請求項４記載の第１抽出手段、輪郭線排除手段、第２抽出手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする。
請求項９記載の発明に係る記録媒体は、請求項６記載の第１抽出手段、第２抽出手段、マスク画像生成手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする。
【０００７】
【発明の実施の形態】
１．実施の形態その１（アプリケーションソフトへの応用）
以下、本発明の実施の形態を、画像編集ソフトを例にして、図面を参照しながら説明する。
図１において、１は連写撮影モードで記録された複数の画像（以下、連写画像と言う）であり、ここでは、便宜的に野球の投球フォームを記録した４枚の画像１ａ〜１ｄで構成されているものとする。なお、これらの画像１ａ〜１ｄの記録装置については、特に限定しない。連写モードを備えたディジタルカメラはもちろんのこと、ディジタルビデオカメラであってもよい。ディジタルビデオカメラの場合、必要なシーンの画像をコマ落しで出力すれば、ディジタルカメラと同様な連写画像を得られる。
【０００８】
２は、本実施の形態における「画像編集ソフト」であり、図では、便宜的に主要な部分を機能ブロックで表現している。なお、この画像編集ソフト２は、パーソナルコンピュータ上で動作するアプリケーションプログラムの一つである。
一般に、あらゆるアプリケーションプログラムは、オペレーティングシステム（各種ドライバソフトやＤＬＬ及びＯＣＸなどの共有コンポーネントを含む）と、パーソナルコンピュータを構成する様々なハードウェア資源との有機的結合によって始めて所要の機能を発揮するものであり、この点において、本実施の形態における画像編集ソフト２も例外ではないが、オペレーティングシステムの働きやパーソナルコンピュータの基本的な動作については、当業者の常識範囲であるから、以下の説明においては、特に発明の理解に必要と思われる事項を除いて説明を省略することにする。
図１において、画像編集ソフト２の主要部分と、その機能の概要は以下のとおりである。
【０００９】
＜輪郭線抽出部３＞
連写画像１の中で最初に記録された画像１ａを除く他の画像１ｂ〜１ｄの輪郭線を抽出する部分である。ここで、輪郭線とは画像のエッジ部分のことであり、人間の視覚上、輝度や色の変化が段差を持って大きく認識される部分のことである。輪郭線の抽出方法としては、例えば、濃淡画像（カラー又はモノクロ）の注目画素とその周辺画素の値（輝度や色の値）を比較して所定値以上の差がある場合に、その注目画素を輪郭線上の画素とみなす方法を利用できる。
【００１０】
ところで、画像中の輪郭線は、上述のとおり「画像のエッジ部分」であり、例えば、人間の顔を例にすれば、顔の輪郭以外にも頭髪の生え際、眉毛、目、鼻又は口の輪郭などあらゆるエッジ部分が該当するが、本実施の形態においては、これらの輪郭線の全部を必要としない。すなわち、上記例示に従えば、顔の輪郭線だけが必要で、その輪郭線に内包された、頭髪の生え際、眉毛、目、鼻又は口の輪郭などは必要としない。その理由は、後の説明でも明らかになると思うが、上記輪郭線を入力画像の切り出しに用いるからであり、上記例示に従えば、入力画像から「顔」の部分だけを切り出すために使用されるからである。
したがって、輪郭線抽出部３は、上記の一の機能、すなわち、「連写画像１のうち最初に記録された画像１ａを除く他の画像１ｂ〜１ｄの輪郭線を抽出する」（図２の符号イ→符号ロ参照）ことに加えて、さらに、「閉じた輪郭線に内包された他の輪郭線を排除（除外）する」（図２の符号ロ→符号ハ参照）という二の機能も有している。
【００１１】
＜動き領域抽出部４＞
連写画像１の動き領域を抽出する部分である。動き領域は、例えば、時間軸上に隣り合う二つの画像の同一画素を位置比較して所定値以上の位置ずれがある場合に、その画素を動き領域の画素として判定することができる。
【００１２】
＜輪郭線修正部５＞
動き領域抽出部４で抽出された動き領域の情報は、この輪郭線修正部５において、上記輪郭線抽出部３で抽出された輪郭線の中から動きを伴う輪郭線だけを最終的に取り出すため、言い換えれば、背景画像の輪郭線を排除（除外）するために用いられる。
図３は、動き部分だけの輪郭線を用いて生成された画像切り出し用のマスク画像である。（ａ）は画像１ｂに対応するマスク画像、（ｂ）は画像１ｃに対応するマスク画像、（ｃ）は画像１ｄに対応するマスク画像であり、いずれも白抜き部分が画像の切り出し範囲である。
【００１３】
＜画像合成部６＞
連写画像１から所要の合成画像７を生成する部分である。この合成画像７は、連写画像１の中で最初に記録された画像１ａをベースにして、その上に他の画像１ｂ〜１ｄの動き部分を順次に積み重ねた画像であり、要するに、全体の動き（図示の計では投球フォームの流れ）を視覚的に把握しやすいように加工した画像である。
【００１４】
この合成画像７は、以下の手順▲１▼〜▲４▼により生成される。まず、▲１▼連写画像１の中で最初に記録された画像１ａは、ベース画像としてそのまま画像合成部６に入力される。▲２▼他の画像１ｂ〜１ｄについては、輪郭線抽出部３、動き領域抽出部４及び輪郭線修正部５で動き部分の輪郭線が抽出され、この輪郭線から切り出し用のマスク画像（図３参照）が生成される。そして、▲３▼マスク画像と元画像１ｂ〜１ｄが画像合成部６に入力され、この画像合成部６で元画像１ｂ〜１ｄの動き部分の画像が切り出されるとともに、これらの動き部分の画像が各画像の記録順にベース画像の上に積み重ねられる結果、図示の合成画像７が作られる。
【００１５】
以上のとおり、本実施の形態の「画像編集ソフト」によれば、動きを伴う被写体の連写画像１を入力するだけで、その連写画像１を構成する１枚目の画像１ａをベース画像として、その画像１ａの上に２枚目から４枚目までの画像１ｂ〜１ｄの動き部分の絵が積層合成されるので、例えば、当該連写画像１を野球の投球フォームとすれば、フォームの流れを１枚の合成画像７にまとめることができ、きわめて表現力に優れた画像の加工を特別な手順等を要することなく行うことができるという格別な効果が得られる。なお、上記実施の形態では、パーソナルコンピュータ上で動作するアプリケーションプログラムを例にしたが、これに限定されない。例えば、プリンタなどの画像印刷装置に内蔵されたファームウェアであってもよいし、あるいは、以下に説明するディジタルカメラやディジタルビデオカメラの内蔵プログラムであってもよい。
【００１６】
２．実施の形態その２（ディジタルカメラへの応用）
図４は、本実施の形態におけるディジタルカメラの外観図である。ディジタルカメラ１０は、特に限定しないが、本体部１１と、この本体部１１に回動可能に取り付けられたカメラ部１２とに分かれており、カメラ部１２の前面（図面の裏面側）には図示を略したレンズが装着されている。レンズの後ろには、これも図示を略したＣＣＤ（電荷結合素子）が取り付けられており、後述の撮影モードの際に、レンズから取り込まれた被写体の像を電気信号に変換して所定周期のフレーム画像を生成できるようになっている。
【００１７】
一方、本体部１１には、画像（本実施の形態では、特に連写画像とその合成画像）を確認するための平面表示装置、例えば、液晶ディスプレイ１３が取り付けられているほか、シャッターキー１４を始めとする各種の操作キー類が適宜の位置に取り付けられている。ちなみに、操作キーは、例えば、プラスキー１５、マイナスキー１６、デリートキー１７、電源スイッチ１８、モードキー１９、ディスプレイキー２０、ズームキー２１、セルフタイマーキー２２、ファンクションスイッチ２３などであり、これら各キーのうち、特に後述のフローチャートの動作を理解するのに必要と思われるものを説明すれば以下のとおりである。
【００１８】
（１）シャッターキー１４：
通常の撮影や連写撮影などの撮影モードではその名前通りの役目を果たすが、撮影済みの画像を再生する再生モードでは選択された機能の「実行」キーの役割を果たす。
（２）プラスキー１５：
シングル表示の場合は表示画像をプラス方向（最新画像の方向）に向かって選択するキー、マルチ画面（連写画像の表示画面含む）や各種設定画面の場合は画面上のカーソルを下や右方向へ移動させるキーである。
（３）マイナスキー１６：
方向が逆向きである以外、プラスキーと同じ機能である。
（４）モードキー１９：
撮影モードや再生モードにおいて、様々な機能を選択するキーであり、特に、本実施の形態では、連写画像の合成画像を表示したり、出力したりする機能を選択できるものである。
（５）ファンクションスイッチ２３：
撮影モードと再生モードを切り替えるスライドスイッチである。上にスライドすると撮影モード、下にスライドすると再生モードになる。
【００１９】
図５は、本実施の形態におけるディジタルカメラのブロック図である。３０はレンズ、３１はＣＣＤ、３２は垂直ドライバ、３３はタイミング発生器（ＴＧ：Timing Generator）、３４はサンプルホールド回路、３５はアナログディジタル変換器、３６はカラープロセス回路、３７はＤＭＡコントローラ、３８はＤＲＡＭインターフェース、３９はＤＲＡＭ、４０はフラッシュメモリ、４１はＣＰＵ、４２はＪＰＥＧ（Joint Photographic Coding Experts Group）回路、４３はＶＲＡＭ、４４はＶＲＡＭコントローラ、４５はディジタルビデオエンコーダ、４６は液晶ディスプレイ（図４の符号１３と同じもの）、４７はバス、４８はキー入力部、４９はタッチパネルである。
【００２０】
キー入力部４８は、上述の様々な操作キーを備えるほか、液晶ディスプレイ４６の前面に取り付けられたタッチパネル４９からの座標情報を所定の信号形式に変換してＣＰＵ４１に出力するタッチパネルインターフェース５０を備えていてもよい。なお、タッチパネル４９は図６に示すように、液晶ディスプレイ４６の画面と同程度の大きさの透明パネル４９ａに多数の縦横配線４９ｂ、４９ｃを敷設し、配線の各交差点に小さなスイッチ４９ｄを形成したものであり、指やペン先で触れた位置のスイッチがオンになって、その位置の座標情報を生成するものである。
【００２１】
記録モードにおいては、まず、レンズ３０の後方に配置されたＣＣＤ３１が垂直ドライバ３２やタイミング発生器３３からの信号で駆動され、レンズ３０で集められた映像が一定周期毎に光電変換されて１画面分の画像信号が出力される。そして、この画像信号がサンプルホールド回路３４でサンプリングされ、アナログディジタル変換器３５でディジタル信号に変換された後、カラープロセス回路３６でディジタルの輝度・色差マルチプレクス信号（ＹＵＶ信号）が生成される。このＹＵＶ信号は、ＤＭＡコントローラ３７及びＤＲＡＭインターフェイス３８を介してＤＲＡＭ３９に転送され、ＤＲＡＭ３９への転送完了後に、ＣＰＵ４１によって読み出され、ＶＲＡＭコントローラ４４及びディジタルビデオエンコーダ４５を介して液晶ディスプレイ４６に送られ表示される。
【００２２】
この状態でカメラの向きを変えると、ＤＲＡＭ３９に保存されているＹＵＶ信号が書き換えられ、同時に液晶ディスプレイ４６に表示されている画像も変化するが、適宜の時点（所望の構図が得られた時点）で、シャッターキー１４を押し下げると、ＤＲＡＭ３９に保存されているＹＵＶ信号がその時点のＹＵＶ信号で固定され、かつ液晶ディスプレイ４６に表示されている画像も同時点の画像に固定される。
そして、その時点でＤＲＡＭ３９に保存されているＹＵＶ信号は、ＤＲＡＭインターフェイス３８を介してＪＰＥＧ回路４２に送られ、Ｙ、Ｃｂ、Ｃｒの各コンポーネント毎に８×８画素の基本ブロックと呼ばれる単位でＪＰＥＧ符号化された後、フラッシュメモリ４０に書き込まれ、１画面分のＪＰＥＧ画像として記録される。
【００２３】
以上の流れが、通常の撮影モードであるが、いわゆる連写撮影モードでは一回のシャッター操作で連続的に複数枚の画像を記録する。図８は、連写画像の一例であり、先の実施の形態と同様な野球の投球フォームの画像１ａ〜１ｄである。画像１ａ〜１ｄの撮影順は、左上の画像１ａ、右上の画像１ｂ、左下の画像１ｃ、右下の画像１ｄである。
【００２４】
図７は、上記連写画像１ａ〜１ｄの合成画像を生成・表示するフローチャートであり、このフローチャートは、例えば、所望の連写画像を液晶ディスプレイ４６に表示している状態で、モードキー１９を操作することによって実行されるものである。
フローを開始すると、まず、連写画像を構成する最初（順番は撮影順）の画像１ａを読み込み（Ｓ１０）、この最初の画像１ａをベース画像として作業メモリ上に一時記憶（Ｓ３０）した後、次順の画像１ｂを読み込む（Ｓ１０）。次に、この画像１ｂの輪郭抽出と動き領域抽出を行い（Ｓ４０、Ｓ５０）、これらの輪郭情報と動き情報に基づいて画像１ｂに対するマスク画像を生成する（Ｓ６０）。さらに、残りの画像１ｃ、１ｄについても、同様に輪郭抽出、動き領域抽出及びマスク画像生成を行い（Ｓ１０、Ｓ４０、Ｓ５０、Ｓ６０）、最後の画像１ｄの処理を終えると、マスク画像を用いて各画像１ｂ〜１ｄの動き部分を切り出し、その切り出し画像を一時記憶しておいたベース画像（画像１ａ）の上に順次に積み重ねて合成画像を生成し（Ｓ８０）、最後にその合成画像をフラッシュメモリ４０に記録すると同時に液晶ディスプレイ４６に表示（Ｓ９０）して処理を終了する。
【００２５】
図９は、液晶ディスプレイ４６の表示例であり、図８の連写画像１ａ〜１ｄのうち撮影順１枚目の画像１ａの上に、他の画像１ｂ〜１ｄの動き部分が積層合成された様子が認められる。
したがって、本実施の形態のディジタルカメラ１０によれば、例えば、野球の投球フォームを連写モードで撮影し、その場で上記のフローチャートを実行して図８の合成画像７を液晶ディスプレイ４６に表示できるから、フォームの研究などに用いて極めて好都合な表現力に優れた加工画像の表示を行うことができるという格別な効果が得られる。
【００２６】
なお、以上二つの実施の形態では、連写画像１を構成する複数の画像１ａ〜１ｄの全部を用いて合成画像７を生成したが、これに限らない。必要な画像だけを選択できるようにしてもよい。例えば、上記のディジタルカメラ１０の場合であれば、タッチパネル４９ａを用いて画像を選択できるようにしてもよい。
【００２７】
また、上記ディジタルカメラ１０で撮影する際は、三脚等で固定することが望ましい。動き部分の検出を行っているからであり、手ぶれがあると動き検出に悪影響を与えるからである。しかしながら、いちいち三脚等をセットすることは面倒であるから、好ましくは、手ぶれ補正等の技術を応用すべきである。例えば、時間軸上で隣り合うフレーム画像の画素位置相関を行い、同一方向でしかも同程度の位置ずれがある画素については、手ぶれによる位置ずれと判断して動き部分の検出に用いないようにしてもよい。
【００２８】
【発明の効果】
本発明によれば、動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出と動き領域の抽出を行い、これらの輪郭線情報と動き領域情報とに基づいて前記他の画像の動き部分を切り出し、その切り出し部分を前記基準とする画像の上に積層して合成画像を生成するので、１枚の画像の上に各画像の動き部分を合成した表現力豊かな画像を生成でき、例えば、野球の投球フォームの研究などに用いて好適な画像処理方法又はその装置を実現できる。
請求項１又は４記載の発明によれば、さらに、前記抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除し、輪郭線が排除された後の閉じた輪郭線の情報と動き領域情報とに基づいて、前記他の画像の動き部分を切り出すので、切り出し部分に不要な部分を含ませないようにすることができる。
請求項７記載の発明によれば、前記基準とする画像を除く他の画像の一部を抽出や画像合成の対象とするので、所要の画像の間引きなどを適宜に行うことができ、合成画像のアレンジ性の向上を図ることができる。
請求項２、３、５、又は６記載の発明によれば、輪郭線情報と動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するので、動き部分の切り出しを確実に行うことができる。
【図面の簡単な説明】
【図１】実施の形態（その１）の構成図である。
【図２】実施の形態（その１）の輪郭線抽出及び余分な輪郭線排除の概念図である。
【図３】実施の形態（その１）のマスク画像の概念図である。
【図４】実施の形態（その２）の外観図である。
【図５】実施の形態（その２）のブロック図である。
【図６】実施の形態（その２）のタッチパネルの構成図である。
【図７】実施の形態（その２）のフローチャートである。
【図８】実施の形態（その２）の連写画像の表示状態図である。
【図９】実施の形態（その２）の合成画像の表示状態図である。
【符号の説明】
１ 連写画像
１ａ 最初の画像
１ｂ〜１ｄ 他の画像
３ 輪郭線抽出部（検出手段、抽出手段）
４ 動き領域抽出部（検出手段、抽出手段）
６ 画像合成部（生成手段、切り出し抽出手段、第１生成手段、第２生成手段）
７ 合成画像
Claims (9)
- 動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、
前記第１抽出工程によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除工程と、
前記他の画像について動き領域の抽出を行う第２抽出工程と、
前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し工程と、
前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、
を含むことを特徴とする画像処理方法。 - さらに、前記輪郭線排除工程によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程を含み、
前記切り出し工程は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする請求項１記載の画像処理方法。 - 動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出工程と、
前記他の画像について動き領域の抽出を行う第２抽出工程と、
前記第１抽出工程によって抽出された輪郭線情報と前記第２抽出工程によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成工程と、
前記マスク画像生成工程によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し工程と、
前記切り出し工程によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成工程と、
を含むことを特徴とする画像処理方法。 - 動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、
前記第１抽出手段によって抽出された輪郭線のうち閉じた輪郭線に内包された他の輪郭線を排除する輪郭線排除手段と、
前記他の画像について動き領域の抽出を行う第２抽出手段と、
前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像の動き部分を切り出す切り出し手段と、
前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、
を備えたことを特徴とする画像処理装置。 - さらに、前記輪郭線排除手段によって輪郭線が排除された後の閉じた輪郭線の情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段を備え、
前記切り出し手段は、このマスク画像を用いて前記他の画像の動き部分を切り出すことを特徴とする請求項４記載の画像処理装置。 - 動きを伴う被写体を撮影した連写画像のうち基準とする画像を除く他の画像について輪郭線の抽出を行う第１抽出手段と、
前記他の画像について動き領域の抽出を行う第２抽出手段と、
前記第１の抽出手段によって抽出された輪郭線情報と前記第２抽出手段によって抽出された動き領域情報とに基づいて前記他の画像に用いるマスク画像を生成するマスク画像生成手段と、
前記マスク画像生成手段によって生成されたマスク画像を用いて前記他の画像の動き部分を切り出す切り出し手段と、
前記切り出し手段によって切り出された動き部分を前記基準とする画像の上に積層して合成画像を生成する合成画像生成手段と、
を備えたことを特徴とする画像処理装置。 - 前記基準とする画像を除く他の画像の一部を抽出や画像合成の対象とすることを特徴とする請求項４乃至６の何れかに記載の画像処理装置。
- 請求項４記載の第１抽出手段、輪郭線排除手段、第２抽出手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする記録媒体。
- 請求項６記載の第１抽出手段、第２抽出手段、マスク画像生成手段、切り出し手段及び合成画像生成手段を実現するためのプログラムを格納したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13844998A JP4110560B2 (ja) | 1998-05-20 | 1998-05-20 | 画像処理方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13844998A JP4110560B2 (ja) | 1998-05-20 | 1998-05-20 | 画像処理方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331693A JPH11331693A (ja) | 1999-11-30 |
| JP4110560B2 true JP4110560B2 (ja) | 2008-07-02 |
Family
ID=15222277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13844998A Expired - Fee Related JP4110560B2 (ja) | 1998-05-20 | 1998-05-20 | 画像処理方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4110560B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0728462U (ja) * | 1993-11-16 | 1995-05-30 | フランスベッド株式会社 | マットレス装置 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4608139B2 (ja) * | 2001-06-29 | 2011-01-05 | 日本放送協会 | 画像合成方法及び画像合成装置 |
| JP4155118B2 (ja) | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
| JP4082318B2 (ja) | 2003-09-04 | 2008-04-30 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
| JP4574185B2 (ja) * | 2004-02-17 | 2010-11-04 | キヤノン株式会社 | 撮像装置及び閃光装置の制御方法 |
| US12051391B2 (en) | 2005-04-12 | 2024-07-30 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| JP4861109B2 (ja) * | 2006-09-27 | 2012-01-25 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
| JP5098949B2 (ja) * | 2008-10-21 | 2012-12-12 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
| JP2011072034A (ja) * | 2008-12-16 | 2011-04-07 | Casio Computer Co Ltd | 撮像装置、画像処理方法及びプログラム |
| JP2010171491A (ja) * | 2009-01-20 | 2010-08-05 | Casio Computer Co Ltd | 撮影装置、撮影方法及びプログラム |
| JP5131257B2 (ja) | 2009-08-27 | 2013-01-30 | カシオ計算機株式会社 | 表示制御装置及び表示制御プログラム |
| JP5581728B2 (ja) * | 2010-02-24 | 2014-09-03 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| JP5012967B2 (ja) | 2010-07-05 | 2012-08-29 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| JP5978580B2 (ja) * | 2011-09-26 | 2016-08-24 | 日本電気株式会社 | 電子機器、その制御方法及びプログラム |
| JP5131376B2 (ja) * | 2011-10-05 | 2013-01-30 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置 |
| KR102004884B1 (ko) * | 2013-01-07 | 2019-07-29 | 삼성전자주식회사 | 전자 장치에서 움직이는 사진 제어 장치 및 방법 |
| CN104243819B (zh) * | 2014-08-29 | 2018-02-23 | 小米科技有限责任公司 | 照片获取方法及装置 |
| CN111586296B (zh) * | 2020-04-27 | 2021-11-16 | 北京小米移动软件有限公司 | 图像拍摄方法、图像拍摄装置及存储介质 |
-
1998
- 1998-05-20 JP JP13844998A patent/JP4110560B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0728462U (ja) * | 1993-11-16 | 1995-05-30 | フランスベッド株式会社 | マットレス装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11331693A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4110560B2 (ja) | 画像処理方法及びその装置 | |
| TW432864B (en) | Image pickup apparatus and method for processing images obtained by means of same | |
| JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
| US20160028955A1 (en) | Camera and camera control method | |
| KR20090009108A (ko) | 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라 | |
| JPH11196362A (ja) | 撮像装置および撮像画像加工方法 | |
| JP2007251429A (ja) | 動画撮影装置及びズーム調整方法 | |
| JP2003179798A (ja) | デジタルカメラ | |
| JP2005027284A (ja) | 画像撮影装置、画像撮影方法及び画像撮影プログラム | |
| JP4408456B2 (ja) | 情報処理装置 | |
| JPH11298784A (ja) | 電子カメラおよびその動作制御方法ならびにアニメーションｇｉｆ生成装置および方法 | |
| JP2007096774A (ja) | 画像表示装置及びプログラム | |
| JP2001119625A (ja) | 画像処理方法及びその装置 | |
| JP2002223405A (ja) | 映像記録再生装置、及び映像記録再生プログラム | |
| JP3015773B2 (ja) | デジタルカメラ | |
| JP2004173300A (ja) | 撮像装置および撮像画像加工方法 | |
| JP5479149B2 (ja) | 画像生成装置 | |
| JP2007282279A (ja) | 情報処理装置および記録媒体 | |
| JP3918228B2 (ja) | 情報処理装置および記録媒体 | |
| JP2008065851A (ja) | 情報処理装置および記録媒体 | |
| JP3772563B2 (ja) | パノラマ撮影方法および撮像装置 | |
| JP2018038090A (ja) | 画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム | |
| JP4368203B2 (ja) | 撮像装置および撮像画像加工方法 | |
| JP2006094202A (ja) | 撮像装置、合焦処理方法及びプログラム | |
| JP2010224934A (ja) | 画像処理装置及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080330 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130418 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140418 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |