JP5874476B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5874476B2
JP5874476B2 JP2012064529A JP2012064529A JP5874476B2 JP 5874476 B2 JP5874476 B2 JP 5874476B2 JP 2012064529 A JP2012064529 A JP 2012064529A JP 2012064529 A JP2012064529 A JP 2012064529A JP 5874476 B2 JP5874476 B2 JP 5874476B2
Authority
JP
Japan
Prior art keywords
image
partial
subject
unit
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012064529A
Other languages
English (en)
Other versions
JP2013198014A (ja
Inventor
河村 義裕
義裕 河村
浩一 中込
浩一 中込
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012064529A priority Critical patent/JP5874476B2/ja
Priority to US13/846,812 priority patent/US20130251287A1/en
Priority to CN201310090849.8A priority patent/CN103327234B/zh
Priority to KR1020130030241A priority patent/KR101446641B1/ko
Publication of JP2013198014A publication Critical patent/JP2013198014A/ja
Application granted granted Critical
Publication of JP5874476B2 publication Critical patent/JP5874476B2/ja
Priority to US15/335,474 priority patent/US10382704B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、被写体の動作を把握する画像処理装置、画像処理方法及びプログラムに関する。
従来より、デジタルカメラ等の撮像装置で撮像された動画像に映った被写体の動作を事後的に確認することが行われている。例えば、ゴルフ等のスポーツにおいては、スイング動作を動画像として記録し、スイングの確認を行うことが行われている。
このようなスイングのフォームの確認の技術として、特許文献1に記載の技術が知られている。特許文献1に記載の技術は、ゴルフヘッドの一連のスイング動作を1枚の静止画像に合成表示させる技術である。
特開平11−98450号公報
しかしながら、上述した特許文献1に記載の技術は、ゴルフヘッドの一連のスイング動作を1枚の静止画像に合成表示させることから、各スイングの動作(ダウンスイング、インパクト前後のスイング、フォロースイング等)の軌跡が重なり、どの部分がどのスイングの動作に対応するのかを把握することが困難になるという虞があった。
本発明は、このような状況に鑑みてなされたものであり、被写体の動作を容易に把握することができることを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
入力部への所定の部分動作を選択する旨の入力が検出された場合に、前記被写体の一連の動作を構成する複数の部分動作から所定の部分動作を特定する特定手段と、
前記画像取得手段により取得された前記複数の画像のデータの中から、前記特定手段により特定された所定の部分動作に対応する画像のデータを複数選択する画像選択手段と、
前記画像選択手段により選択された複数の画像から前記被写体の画像において動作の特徴となる部分領域を複数抽出する抽出手段と、
前記抽出手段により抽出された複数の前記部分領域と、前記画像選択手段により選択された前記所定の部分動作時の画像のデータの何れか一つとを重畳するように合成させて合成画像を生成する合成画像生成手段と、を備えることを特徴とする。
本発明によれば、被写体の動作を容易に把握することができる。
本発明における画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図1の撮像装置の機能的構成のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。 合成画像生成処理により生成された全合成画像の一例を示す模式図である。 部分合成画像の表示の一例を示す模式図である。 撮像装置の表示部に表示される部分合成画像の選択画面の一例を示す図である。 図2の機能的構成を有する図3の撮像装置が実行する合成画像生成処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明における画像処理装置の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、画像処理部14と、バス15と、入出力インターフェース16と、撮像部17と、入力部18と、出力部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12、RAM13及び画像処理部14は、バス15を介して相互に接続されている。このバス15にはまた、入出力インターフェース16も接続されている。入出力インターフェース16には、撮像部17、入力部18、出力部19、記憶部20、通信部21及びドライブ22が接続されている。
撮像部17は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部17の出力信号として出力される。
このような撮像部17の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11や画像処理部14等に適宜供給される。
入力部18は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部19は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部20は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ22によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部20にインストールされる。また、リムーバブルメディア31は、記憶部20に記憶されている画像のデータ等の各種データも、記憶部20と同様に記憶することができる。
図2は、図1の撮像装置の機能的構成のうち、合成画像生成処理を実行するための機能的構成を示す機能ブロック図である。
合成画像生成処理とは、取得した動画像のデータに基づいて、当該動画像を解析して、当該動画像に映り込んだ被写体の動作を特定し、特定した動作に対応した静止画像(後述する全合成画像や後述する部分合成画像)を合成して表示等をする一連の処理である。
本実施形態において、撮像装置1は、ゴルフのスイングを行っている対象を被写体として撮像する例について説明する。
なお、本実施形態においては、撮像された被写体の動作を、一連の動作(以下、「全体動作」とも呼ぶ。)と、一連の動作を構成する部分的な動作(以下、「部分動作」と呼ぶ。)として特定する。
即ち、ゴルフのスイングを撮像して合成画像を生成する本実施形態においては、全体動作がスイングの一連の動作であり、部分動作がスイングを構成する各動作(例えば、アドレス,バックスイング,トップ,ダウンスイング,インパクト,フォロースイング,フィニッシュ)である。
合成画像生成処理が実行される場合には、図2に示すように、CPU11において、撮像制御部51と、出力制御部52とが機能し、画像処理部14において、画像取得部71と、画像特定部72と、画像選択部73と、合成画像生成部74とが機能する。
ただし、図2は例示であり、CPU11の機能の少なくとも一部を画像処理部14に委譲してもよいし、逆に、画像処理部14の機能の少なくとも一部をCPU11に委譲してもよい。
この場合、記憶部20の一領域として設けられた取得画像記憶部91と、合成画像記憶部92と、が用いられる。
取得画像記憶部91においては、撮像部17から出力され、画像取得部71により取得された撮像画像のデータが記憶されている。
合成画像記憶部92においては、合成画像生成部74から出力された合成画像のデータが記憶されている。
撮像制御部51は、各種撮像条件を設定し、撮像部17における撮像の動作を制御する。
本実施形態においては、被写体の動作を撮像するため、撮像制御部51は、撮像部17により動画像を撮像させる。
出力制御部52は、合成画像記憶部92に記憶される合成画像(後述する全合成画像や後述する部分合成画像)を表示出力するように、出力部19を制御する。
画像取得部71は、撮像部17から出力された動画像のデータを、一連の動作を示す複数の画像のデータである複数の単一画像(静止画像)として取得可能なデータとして取得する。その後、画像取得部71は、取得した動画像のデータを取得画像記憶部91に記憶させる。
画像特定部72は、単一画像に写り込んだ被写体の動作を特定する画像の特定を行う。また、画像特定部72は、特定した動作を単一画像に対応付ける。詳細には、画像特定部72は、取得画像記憶部91から動画像のデータを取得し、当該動画像を構成する単一画像内に写り込んだ被写体の動作を特定する。そして、画像特定部72は、特定した被写体の動作を、対応する単一画像に対応付けて、取得画像記憶部91に記憶させる。本実施形態においては、画像特定部72は、全体動作となるスイングの動作と、スイングを構成する動作(例えば、(アドレス,バックスイング,トップ,ダウンスイング,インパクト,フォロースイング,フィニッシュ))を人の動作、クラブの動作(特に、クラブヘッドの動作)から特定する。
被写体の動作に属する部分動作を特定する手法については、特に限定されないが、例えば、スイングの時間から判断して部分動作を推定して特定する手法を用いてもよく、基準となる画像との比較において、部分動作を特定する等の画像マッチング技術の手法を用いてもよい。また、画像からクラブやクラブヘッドを抽出して、抽出したクラブやクラブヘッドの位置関係から、スイングの部分動作を特定するような手法を用いてもよい。
このような被写体の動作に属する部分動作を特定する手法については、公知又は今後登場するであろう任意の手法、例えば特開2008−278386号公報,特開2009−53786号公報,特許第4415198号等に開示されている手法等を採用することができる。
画像選択部73は、入力部18からの画像の合成指示に基づいて、特定された単一画像を複数選択する。詳細には、画像選択部73は、入力部18からの、後述する全合成画像や後述する部分合成画像の合成指示に基づいて、取得画像記憶部91に記憶される動画像を構成する、指定された動作に対応する単一画像のデータを選択する。
合成画像生成部74は、画像選択部73により選択された単一画像を合成し、合成画像のデータを生成する。
合成画像生成部74は、画像選択部73により、スイングの一連の動作となる全体動作に対応する単一画像が選択された場合には、スイングを写した単一画像を全て1枚の静止画像として合成した画像(以下、「全合成画像」と呼ぶ。)のデータを生成する。
また、合成画像生成部74は、画像選択部73により、スイングの部分動作に対応する単一画像が選択された場合(例えば、ダウンスイング)には、ダウンスイングを写した単一画像を全て1枚の静止画像として合成した画像(以下、「部分合成画像」と呼ぶ。)のデータを生成する。なお、本実施形態において、部分合成画像は、部分動作に対応する単一画像と、部分動作と時間的に前後に位置する単一画像とが含めて合成される。即ち、ダウンスイングの部分動作で、部分合成画像のデータを生成する場合には、ダウンスイングの前後(トップとダウンスイングとの間の動作と、ダウンスイングからインパクトとの間の動作)の動作が写り込んだ単一画像を合成する。
また、合成画像生成部74は、部分合成画像の生成に際し、動作の主体となる部分(例えば、クラブヘッドやボール)のみを合成することができる。即ち、合成画像生成部74は、選択された動作を最もよく表す画像に動作の軌道がわかるように、当該動作を最もよく表す画像の前後に動きのある部分を合成することができる。
このように部分合成画像のデータを生成することで、煩雑でなく、被写体の動作を容易に把握可能な画像を提供することができる。
つまり、合成画像生成部74は、入力部18により、全合成画像の合成指示に基づいて、全合成画像のデータを生成し、所定の動作を指定することによる部分合成画像の合成指示に基づいて、部分合成画像のデータを生成する。
次に、合成画像生成処理により生成された全合成画像の例について、図3を参照して説明する。
図3は、合成画像生成処理により生成された全合成画像の例を示す模式図である。
図3の例では、スイングをしている対象を背後から撮像した動画像のデータから全体画像のデータを生成している。
全合成画像は、スイングの一連の動作に対応する動作が全て写り込んだ画像により構成されるために、スイングを構成する部分動作が残像のように写り込んだ画像となる。即ち、全合成画像は、本実施形態においては、動作のある被写体(スイング対象者100やクラブヘッド101、クラブシャフト102含むクラブ等)の全てが合成された画像となる。
ゴルフのスイングの場合、アドレスからフィニッシュまでの動作の間の、アドレスからバックスイングと、トップからダウンスイングを経てインパクトに至るまでの間のクラブの動作(軌道)がほぼ同一となる。
また、スイングをしている対象を背後から撮像した場合には、アドレスからインパクトまでと、インパクトからフィニッシュまでの動作も、ほぼ似たような軌道をたどることになる。
従って、全合成画像を見たユーザは、スイング全体動作のイメージはつかめるものの、部分的な動作がどれに対応するものなのかが把握することが困難になる。
そこで、本実施形態の撮像装置1は、部分合成画像として、部分的な動作のみをピックアップして表示可能な画像を生成する。
次に、合成画像生成処理により生成された部分合成画像の例について、図4を参照して説明する。
図4は、合成画像生成処理により生成された部分合成画像の例を示す模式図である。
図4(a)〜(c)は、スイング対象者100の背面側からスイングの動作を撮像した場合のダウンスイング、インパクト及びフォロースイングに対応した部分合成画像の例を示す模式図である。
図4(a)〜(c)の例は、スイングの動作が画像の奥行き方向に変化する図3の例に比べて、スイングの動作が、スイング対象者100の平面方向のために変化が把握しやすいものとなっている。
また、図4(a)〜(c)の例は、指定した動作の前後の動作を含めて合成しており、主にクラブヘッド101及びボール103のみの動作を含めて合成している。即ち、スイング対象者100自体は、指定した動作(例えば、図3(b)の場合にはインパクトの動作)のみが合成される。このように合成することにより、部分動作における流れの把握を可能にしながらも、指定した部分動作自体の確認も容易に行うことができる。
このように部分動作のみを合成することで、重複する軌道を描く動作の場合には、繁雑な画像とならない。
また、図4(d)〜(f)は、スイング対象者100の正面側からスイングの動作を撮像した場合のダウンスイング、インパクト及びフォロースイングに対応した部分合成画像の例を示す模式図である。
図4(d)〜(f)の例は、図4(a)〜(c)に対応する部分動作を部分合成画像として合成している。
なお、図4の例においては、主に、クラブヘッド101とボール103の動きに主眼が置かれており、クラブヘッド101とボール103以外の軌道は、極力表示させないように構成される。即ち、図4の例では、スイング対象者100、クラブシャフト102等は所定の1の動作部分のみが極力表示されるように構成され、クラブヘッド101とボール103は、部分動作全てが表示されるように構成される。即ち、所定の動作が選択された場合には、所定の動作を構成する1の画像に写り込んだスイング対象者100とクラブシャフト102等を採用し、クラブヘッド101やボール103等に関しては、所定の動作全てが写り込んだ画像を採用する。即ち、スイング対象者100やクラブシャフト102や背景は動きがなく、クラブヘッド101やボール103に関しては複数合成され動きがある画像が生成される。
具体的な手法としては、種々の公知の手法が採用可能であるが、例えば、画像内において、スイング対象者100、クラブ(クラブヘッド101、クラブシャフト102)、ボール103をオブジェクトとして抽出し、スイング対象者100やクラブシャフト102等のみを1の画像から採用し、その他のクラブヘッド101やボール103等を所定の動作範囲の画像から採用することができる。
また、図4の例においては、均等の間隔で、単一画像を合成したがこれに限られず、動作の速さや指定した部分に対応して、合成する画像の間隔を変更してもよい。
次に、全合成画像から部分合成画像への表示の切り替えの一例を、図5を参照しながら説明する。
図5は、撮像装置の表示部に表示される部分合成画像の選択画面の一例を示す図である。
本実施形態の撮像装置1においては、全合成画像の表示の後に、図5に示すような部分画像を選択可能なソフトウェアボタンB1〜B3が出現し、ソフトウェアボタンB1〜B3のいずれかを選択すると、選択されたソフトウェアボタンB1〜B3に対応する部分合成画像を生成し、表示することができるようになっている。
図5の例は、全合成画像の上にソフトウェアボタン(「FS」ボタン,「IP」ボタン,「DS」ボタン)が表示される。ユーザがいずれかのソフトウェアボタンをタッチ操作又は入力部18を操作して選択することで、撮像装置1は、選択されたソフトウェアボタンに対応する部分合成画像を生成して、表示する。
なお、「FS」ボタンは、フォローの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。「IP」ボタンは、インパクトの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。「DS」ボタンは、ダウンスイングの動作に対応する部分合成画像を生成し、表示する指示を行うソフトウェアボタンである。
対象をタッチや選択することで、対応する動作の部分画像を生成してもよい。
次に、図6のフローチャートを参照して、図2の機能的構成を有する図1の撮像装置1が実行する合成画像生成処理について説明する。なお、本例では、全合成画像のデータを生成し、表示した後に、フォロースイングの部分合成画像のデータを生成し、表示する例について説明する。
図6は、図2の機能構成を有する図1の撮像装置1が実行する合成画像生成処理の流れの一例を示すフローチャートである。
ユーザの入力部18に対する所定の操作により、合成画像生成処理の開始が指示されると、合成画像生成処理が開始されて、次のような処理が実行される。
ステップS1において、画像取得部71は、一連の動作を示す複数の画像のデータとして動画像のデータを取得する。詳細には、入力部18からの撮像開始の入力を受けて、撮像制御部51は、撮像部17において撮像を開始する。そして、画像取得部71は、撮像部17によって撮像された動画像のデータを取得する。また、画像取得部71は、取得した動画像のデータを撮像画像記憶部62に格納する。
ステップS2において、画像特定部72は、動画像のデータを解析する。即ち、画像特定部72は、動画像のデータを構成する単一画像のデータを解析する。単一画像のデータの解析は、単一画像内に写り込んだ被写体の動作を特定することにより行う。
具体的には、画像特定部72は、動画を構成する単一画像に写り込んだ被写体の動作が例えば、ダウンスイングに属していることを特定する。
ステップS3において、画像特定部72は、特定結果と単一画像との対応付けを行う。
詳細には、画像特定部72は、ステップS2で特定された部分動作であることを示すデータと、単一画像のデータとを対応付けて、取得画像記憶部91に記憶させる。
ステップS4において、合成画像生成部74は、全ての単一画像を合成し、全合成画像のデータを生成する。詳細には、画像選択部73により全ての単一画像が選択され、合成画像生成部74は、選択された単一画像の全てを1つの静止画像として合成し、全合成画像のデータを生成する。
ステップS5において、出力部19は、全合成画像を表示する。詳細には、出力部19は、出力制御部52により全合成画像を表示出力するように制御される。その結果、出力部19においては、図3に示すような動画を構成する全ての単一画像を合成した全合成画像が表示される。
ステップS6において、画像選択部73は、指定された部分動作に対応する単一画像のデータを選択する。詳細には、画像選択部73は、ユーザにより入力部18が操作されることにより、図5に示すように部分動作が指定された場合には、取得画像記憶部91に記憶された指定された部分動作に対応する単一画像のデータを、記憶される取得画像記憶部91から選択する。
この際、図5に示す例では、「FS」のソフトウェアボタンB1がタッチ操作されて、「FS」のソフトウェアボタンB1に対応するフォロースイングに対応する単一画像が選択される。
ステップS7において、合成画像生成部74は、選択された単一画像を合成し、部分合成画像のデータを生成する。詳細には、画像選択部73により全ての単一画像が選択され、合成画像生成部74は、選択された単一画像の全てを1つの静止画像として合成し、全合成画像のデータを生成する。
合成画像生成部74は、選択されたフォロースイングに対応する単一画像を取得画像記憶部91から取得して、フォロースイングに対応する単一画像の全てを合成して、フォロースイングの部分動作に対応する部分合成画像のデータを生成する。
この際、指定されたフォロースイングに対応する単一画像の全てを取得したが、さらに、フォロースイングの前後の部分動作に対応する単一画像を取得する。
ステップS8において、出力部19は、部分合成画像を表示する。詳細には、出力部19は、出力制御部52により部分合成画像を表示出力するように制御される。その結果、出力部19においては、図4(c)に示すような、フォロースイングの動作に対応する単一画像を合成した部分合成画像が表示される。
また、ステップS6において、部分動作の指定を変更することにより、例えば、「IP」のソフトウェアボタンB2がタッチ操作されることにより、結果として、図4(b)に示すようなインパクトの動作に対応する部分合成画像が表示される。
撮像方向を被写体の正面側から行うことで、例えば、図4(d)のようなダウンスイングに対応する動作の部分合成画像、図4(e)のようなインパクトに対応する動作の部分合成画像、図4(f)のようなフォロースイングに対応する動作の部分合成画像等を生成し、表示可能となる。
このようにして、ステップS8の処理で部分合成画像の表示が行われると、合成画像生成処理は終了する。
以上のような合成画像生成処理を実行する撮像装置1は、画像取得部71と、画像特定部72と、画像選択部73と、合成画像生成部74と、を備える。
画像取得部71は、被写体の動作を示す複数の画像のデータを取得する。
画像特定部72は、画像取得部71により取得された複数の画像から、被写体の動作を構成する部分動作を特定する。
画像選択部73は、画像特定部72による特定結果に基づいて、複数の画像のデータの中から、所定の部分動作に対応する画像のデータを選択する。
合成画像生成部74は、画像選択部73選択された複数の画像のデータから1つの合成画像を生成する。
このため撮像装置1においては、画像特定部72による特定結果に基づいて選択された複数の画像のデータの中から、所定の部分動作に対応する画像のデータから1つの合成画像を生成する。
従って、撮像装置1においては、被写体の動作における特定部分動作を容易に把握する画像を生成することができる。また、生成された画像は、特定部分動作のみが含まれたものになるため、煩雑な画像とならない。
また、画像選択部73は、所定の部分動作に対応する画像のデータに加えて、当該所定の部分動作の、少なくとも前又は後のいずれかの動作に対応する画像のデータを選択する。
このため撮像装置1においては、単に所定の部分動作に対応する部分の前又は後の動作も含んで画像を合成するために、所定の部分動作に至るまでの軌跡や所定の部分のどう以降の軌跡も含めた画像となるために、部分動作の軌跡を容易に把握することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、撮像装置1により撮像した被写体の動作を含んだ複数の画像を動画像のデータとして、画像取得部71により取得したが、これに限られない。取得される画像のデータは、例えば、一連の動作を含んだ複数の画像であればよく、動画像に限らず、静止画像でもよく、また、撮像部によって撮像された画像でなく外部から取得した画像でもよい。
また、上述の実施形態では、合成画像(全合成画像及び部分合成画像)は、動作の速度に関係なく合成していたがこれに限られない。例えば、合成画像は、動作の遅い部分については、画像を間引いて合成したり、動作の速い部分については捉えられた画像と画像との間を補間したりするように構成してもよい。このように構成することにより、部分動作の軌道が把握しやすい画像を提供することができる。
また、上述の実施形態では、一連の動作として、ゴルフのスイングを例に説明したがこれに限られない。例えば、一連の動作として、特に往復運動を含んだ動作が好ましく、野球、テニス、野球等の球技のスポーツや、剣道や柔道等の武術の動作にも限られず、また、一連の規則的に定められた動作にも限られない。一連の動きの一部分動作を抽出することで、合成した画像において一部分動作が容易に把握しやすくなったり、画像自体が煩雑にならなかったりするものであればよい。
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、合成画像生成機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
前記画像取得手段により取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定手段と、
前記画像特定手段による特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択手段と、
前記画像選択手段により選択された複数の画像のデータから1つの合成画像を生成する合成画像生成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記画像選択手段は、前記所定の部分動作に対応する画像のデータに加えて、当該所定の部分動作の少なくとも前又は後のいずれかの動作に対応する画像のデータを選択する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記画像取得手段は、前記被写体の動作として、ゴルフのスイングが写り込んだ画像のデータを取得すること、
を特徴とする付記1又は2に記載の画像処理装置。
[付記4]
前記画像取得手段は、前記複数の画像のデータを動画像のデータで取得すること、
を特徴とする付記1乃至3のいずれか1つに記載の画像処理装置。
[付記5]
画像処理装置が実行する画像処理方法であって、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得ステップと、
前記画像取得ステップにより取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定ステップと、
前記画像特定ステップによる特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択ステップと、
前記画像選択ステップにより選択された複数の画像のデータから1つの合成画像を生成する合成画像生成ステップと、
を含むことを特徴とする画像処理方法。
[付記6]
コンピュータを、
被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段、
前記画像取得手段により取得された前記複数の画像から、前記被写体の一連の動作を構成する部分動作を特定する画像特定手段、
前記画像特定手段による特定結果に基づいて、前記複数の画像のデータの中から、所定の部分動作に対応する画像のデータを複数選択する画像選択手段、
前記画像選択手段により選択された複数の画像のデータから1つの合成画像を生成する合成画像生成手段、
として機能させることを特徴とするプログラム。
1・・・画像処理装置,11・・・CPU,12・・・ROM,13・・・RAM,14・・・画像処理部,15・・・バス,16・・・入出力インターフェース,17・・・撮像部,18・・・入力部,19・・・出力部,20・・・記憶部,21・・・通信部,22・・・ドライブ,31・・・リムーバブルメディア,51・・・撮像制御部,52・・・出力制御部,71・・・画像取得部,72・・・画像特定部,73・・・画像選択部73・・・合成画像生成部,91・・・取得画像記憶部,92・・・合成画像記憶部

Claims (7)

  1. 被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段と、
    入力部への所定の部分動作を選択する旨の入力が検出された場合に、前記被写体の一連の動作を構成する複数の部分動作から所定の部分動作を特定する特定手段と、
    前記画像取得手段により取得された前記複数の画像のデータの中から、前記特定手段により特定された所定の部分動作に対応する画像のデータを複数選択する画像選択手段と、
    前記画像選択手段により選択された複数の画像から前記被写体の画像において動作の特徴となる部分領域を抽出する抽出手段と、
    前記抽出手段により抽出された複数の前記部分領域と、前記画像選択手段により選択された前記所定の部分動作時の画像のデータの何れか一つとを重畳するように合成させて合成画像を生成する合成画像生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像選択手段は、前記所定の部分動作時の単一の画像のデータに加えて、当該所定の部分動作から前又は後の時点のいずれかの動作に対応する画像のデータを選択する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像取得手段は、前記被写体の動作として、ゴルフのスイングが撮影された画像のデータを取得すること、
    を特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記特定手段は、前記被写体の動作がゴルフのスイングの場合、部分動作として、アドレス、バックスイング、トップ、ダウンスイング、インパクト、フォロースイング、フィニッシュの中の少なくとも一つの動作を部分動作として特定すること、
    を特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記画像取得手段は、前記複数の画像のデータを動画像のデータで取得すること、
    を特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
  6. 入力部を備える画像処理装置が実行する画像処理方法であって、
    被写体の一連の動作を示す複数の画像のデータを取得する画像取得ステップと、
    入力部への所定の部分動作を選択する旨の入力が検出された場合に、前記被写体の一連の動作を構成する複数の部分動作から所定の部分動作を特定する特定ステップと、
    前記画像取得ステップにより取得された前記複数の画像のデータの中から、前記特定ステップにより特定された所定の部分動作に対応する画像のデータを複数選択する画像選択ステップと、
    前記画像選択ステップにより選択された複数の画像から前記被写体の画像において動作の特徴となる部分領域を複数抽出する抽出ステップと、
    前記抽出ステップにより抽出された複数の前記部分領域と、前記画像選択ステップにより選択された前記所定の部分動作時の画像のデータの何れか一つとを重畳するように合成させて合成画像を生成する合成画像生成ステップと、
    を含むことを特徴とする画像処理方法。
  7. コンピュータを、
    被写体の一連の動作を示す複数の画像のデータを取得する画像取得手段、
    入力部への所定の部分動作を選択する旨の入力が検出された場合に、前記被写体の一連の動作を構成する複数の部分動作から所定の部分動作を特定する特定手段、
    前記画像取得手段により取得された前記複数の画像のデータの中から、前記特定手段により特定された所定の部分動作に対応する画像のデータを複数選択する画像選択手段、
    前記画像選択手段により選択された複数の画像から前記被写体の画像において動作の特徴となる部分領域を複数抽出する抽出手段、
    前記抽出手段により抽出された複数の前記部分領域と、前記画像選択手段により選択された前記所定の部分動作時の画像のデータの何れか一つとを重畳するように合成させて合成画像を生成する合成画像生成手段、
    として機能させることを特徴とするプログラム。
JP2012064529A 2012-03-21 2012-03-21 画像処理装置、画像処理方法及びプログラム Active JP5874476B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012064529A JP5874476B2 (ja) 2012-03-21 2012-03-21 画像処理装置、画像処理方法及びプログラム
US13/846,812 US20130251287A1 (en) 2012-03-21 2013-03-18 Image processing device that generates a composite image
CN201310090849.8A CN103327234B (zh) 2012-03-21 2013-03-21 图像处理装置、以及图像处理方法
KR1020130030241A KR101446641B1 (ko) 2012-03-21 2013-03-21 화상 처리 장치, 화상 처리 방법 및 기록 매체
US15/335,474 US10382704B2 (en) 2012-03-21 2016-10-27 Image processing device that generates a composite image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012064529A JP5874476B2 (ja) 2012-03-21 2012-03-21 画像処理装置、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016008458A Division JP6115656B2 (ja) 2016-01-20 2016-01-20 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013198014A JP2013198014A (ja) 2013-09-30
JP5874476B2 true JP5874476B2 (ja) 2016-03-02

Family

ID=49195741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012064529A Active JP5874476B2 (ja) 2012-03-21 2012-03-21 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (2) US20130251287A1 (ja)
JP (1) JP5874476B2 (ja)
KR (1) KR101446641B1 (ja)
CN (1) CN103327234B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6341403B2 (ja) * 2013-02-14 2018-06-13 株式会社ユピテル システム
US9832396B2 (en) 2013-12-18 2017-11-28 United Technologies Corporation Composite image processing for LWIR images using geometric features
US9706140B2 (en) 2013-12-18 2017-07-11 United Technologies Corporation Natural resolution processing for LWIR images
WO2017010047A1 (ja) 2015-07-10 2017-01-19 パナソニックIpマネジメント株式会社 撮像装置
CN105072342B (zh) * 2015-08-12 2018-01-12 珠海全志科技股份有限公司 图像合成装置及方法
WO2018139212A1 (ja) 2017-01-25 2018-08-02 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
CN107025631A (zh) * 2017-03-13 2017-08-08 深圳市嘉和顺信息科技有限公司 一种高尔夫球场图的图像处理方法、装置及设备
KR102449722B1 (ko) * 2020-10-23 2022-10-04 (주)브레인키즈 골프 스윙궤도 추적 방법 및 장치
CN112788244B (zh) * 2021-02-09 2022-08-09 维沃移动通信(杭州)有限公司 拍摄方法、拍摄装置和电子设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04130882A (ja) * 1990-09-21 1992-05-01 Hitachi Ltd ビデオプリンタ
JPH10277195A (ja) * 1997-04-03 1998-10-20 Sanyo Electric Co Ltd 映像記録再生装置
JPH1198450A (ja) 1997-09-22 1999-04-09 Sanyo Electric Co Ltd 映像記録再生装置
JP2002027398A (ja) * 2000-07-12 2002-01-25 Kodera Electronics Co Ltd 画像記録再生装置
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
JP2003117045A (ja) * 2001-10-18 2003-04-22 Takasago Electric Ind Co Ltd スイングフォーム診断装置
KR20030070446A (ko) * 2002-02-25 2003-08-30 (주)버추얼미디어 동영상의 영상합성장치 및 그 방법
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
JP4131929B2 (ja) * 2002-12-03 2008-08-13 株式会社東芝 オブジェクト画像合成方法
JP4256289B2 (ja) * 2004-03-26 2009-04-22 Sriスポーツ株式会社 ゴルフスウィング診断システム
JP2006203443A (ja) * 2005-01-19 2006-08-03 Inc Corp 画像合成装置及び画像合成プログラム
KR101008917B1 (ko) * 2006-09-14 2011-01-17 후지쯔 가부시끼가이샤 화상 처리 방법 및 장치와 그 프로그램을 기록한 기록 매체
JP2008104509A (ja) * 2006-10-23 2008-05-08 Win System:Kk ゴルフスイングフォーム撮影装置
JP4877154B2 (ja) 2007-08-24 2012-02-15 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP5359343B2 (ja) * 2009-02-16 2013-12-04 株式会社ニコン 電子カメラ
JP5526727B2 (ja) * 2009-11-20 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8696482B1 (en) * 2010-10-05 2014-04-15 Swingbyte, Inc. Three dimensional golf swing analyzer
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence

Also Published As

Publication number Publication date
US20130251287A1 (en) 2013-09-26
CN103327234B (zh) 2016-08-31
US10382704B2 (en) 2019-08-13
KR101446641B1 (ko) 2014-10-01
KR20130107253A (ko) 2013-10-01
JP2013198014A (ja) 2013-09-30
CN103327234A (zh) 2013-09-25
US20170048466A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP5874476B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5754439B2 (ja) 情報報知装置、情報報知方法及びプログラム
JP5648647B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5794215B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6213146B2 (ja) 情報処理装置、記録媒体、および情報処理方法
CN105450911B (zh) 图像处理装置、图像处理方法
JP6439235B2 (ja) 情報報知装置、情報報知方法及びプログラム
JP6149365B2 (ja) 情報生成装置、情報生成方法及びプログラム
JP5733298B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2013074572A (ja) 画像処理装置、画像処理方法及びプログラム
JP6384564B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2014187551A (ja) 画像取得装置、画像取得方法及びプログラム
JP6115656B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6149891B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP2014064125A (ja) 画像生成装置、画像生成方法及びプログラム
JP6372176B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4849330B2 (ja) 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム
JP6075356B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5957838B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015061237A (ja) 画像合成装置、画像合成方法及びプログラム
JP6127410B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6064404B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5712734B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2013169013A (ja) 画像処理装置、制御方法及びプログラム
JP2014138388A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140919

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141126

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160104

R150 Certificate of patent or registration of utility model

Ref document number: 5874476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150