JP5293587B2 - 表示制御装置、表示制御方法、プログラム - Google Patents
表示制御装置、表示制御方法、プログラム Download PDFInfo
- Publication number
- JP5293587B2 JP5293587B2 JP2009284758A JP2009284758A JP5293587B2 JP 5293587 B2 JP5293587 B2 JP 5293587B2 JP 2009284758 A JP2009284758 A JP 2009284758A JP 2009284758 A JP2009284758 A JP 2009284758A JP 5293587 B2 JP5293587 B2 JP 5293587B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display
- frame
- moving subject
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 209
- 238000012545 processing Methods 0.000 claims abstract description 203
- 230000008569 process Effects 0.000 claims description 192
- 239000002131 composite material Substances 0.000 claims description 135
- 239000000203 mixture Substances 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 abstract description 135
- 239000010410 layer Substances 0.000 description 112
- 230000015572 biosynthetic process Effects 0.000 description 43
- 238000003786 synthesis reaction Methods 0.000 description 40
- 238000000926 separation method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
- A63B69/3623—Training appliances or apparatus for special sports for golf for driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Description
動作推移画像は動作を行う人または物(動被写体)をある特徴的な時間(キーフレーム)で切り出し、それを空間的に並べることで動作の推移を容易に認識することができる。これは、動被写体が空間的に移動していなくても、空間的に移動させた画像を敢えて生成するところに特徴がある。一般的には絵を描くことによって実現されるが、写真を手作業で切り抜いて並べることで実現されることもある。
しかし従来の動作推移画像では、動作範囲の拡大と動作推移の十分な表現性の両立が難しいという問題があった。
1つの合成画像として、この図34のように多数のキーフレーム画像を合成すると、当然ながら各キーフレーム画像を並べる際の1枚の切り出し幅waは狭くならざるを得ない。
すると動被写体の動作範囲をカバーできなくなってしまい、目的であるはずの動被写体が一部切り取られてしまう。例えば図34の各画像を見るとわかるように、スイング過程のタイミングによっては、ゴルフクラブの先端部分などが欠けた画像となっている。これは視覚的にも好ましくないと共に、フォームチェックなどの用途を考えても適切でない。
図35は切出し幅wbとして示すように、1つのキーフレーム画像からの切出し幅を広くした例であるが、この場合、1画像として並べることができるキーフレーム画像の数が少なくなる。例えば図35は、図34の20個のキーフレームFK1〜FK20から8個のキーフレームFK1,FK4,FK7,FK10,FK11,FK14,FK17,FK20を抽出して生成した動作推移画像を示している。
この場合、各キーフレーム画像について見ると、動被写体(スイングしている人とゴルフクラブ)の一部が欠けないようにできる。しかしながら、1枚の画像上に並べることのできるキーフレーム数が減ることで、スムースに動きを表現する動作推移画像となりにくい。つまりフォームチェックなどとしての動作推移が十分に細かく表現できない。
そして、そのような動作推移画像を生成し、記録した場合、動作推移画像について、撮像後にユーザにとって分かり易くかつ操作性のよい態様で、再生して確認できるようにすると好適である。
例えば上記表示制御部は、上記ユーザ指示として検知される単位時間毎のドラッグ操作量及びドラッグ操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。
また上記表示制御部は、上記ユーザ指示として検知されるフリック操作(例えばタッチパネル上を指ではじくような操作)に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う。
例えば上記表示制御部は、上記ユーザ指示として検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。
また上記表示制御部は、上記ユーザ指示として検知されるポイント操作(例えばタッチパネル上の或る位置に触れる操作)に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う。
例えば上記表示制御部は、上記ユーザ指示として検知されるポイント操作の位置に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。
本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
各合成画像データとは、例えば次のようなものである
まず、元のフレーム画像データとは、動画を構成する各フレームの1つであったり、例えば連写撮像された静止画の1枚1枚の画像などのことである。即ち1枚の画像を構成する画像データのことを広く示すものとする。
このような入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する際に、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離する処理を行う。そして、フレーム画像データが入力された各時点において、その時点で既存の合成画像データに、入力された最新のフレーム画像データを合成していく。このときに、1つのフレームについての幅を短くすることで、多数の動被写体画像を並べることができるが、その場合に最新のフレーム画像データの動被写体と、それ以前のフレーム画像データの動被写体が重なる部分が生ずる。そこで、入力された最新のフレーム画像データの動被写体レイヤーを第1に優先し、また前回以前の画像合成処理に係るフレーム画像データの動被写体レイヤーを第2に優先したレイヤー画像合成処理を行うようにする。これにより動被写体の一部が以前のフレームの動被写体の上に重なる状態で合成画像が生成される。
このように生成される合成画像データを、一連の記録フレーム画像データとして記録媒体に記録する。
そして、再生時には、各合成画像データ(記録フレーム画像データ)を、動画の各フレームとして再生し、表示させることで、合成過程がわかる動画表示や、合成過程の或る段階の静止画表示などが実行できる。さらにこのとき、ドラッグ操作、フリック操作、ポイント操作等に対応することで、ユーザに、合成過程の各段階における見たい場面を容易に提示できるようにする。
本発明の他の側面でみた表示制御方法は、予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御する表示制御方法において、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御方法である。
また本発明の他の側面のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。
そして同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。例えば同一人物等としての同一の動被写体の各時点での状態(例えばゴルフスイング過程の各状態)の画像が、表示上で時系列順序で並んで表示されるようにする。
さらに、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する。つまり、表示中の状態と異なる時点での同一の動被写体を表示させるときには、その各動被写体画像の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示させるようにする。
特に再生時に、動画の時間軸上の位置と、タッチパネル等による空間軸上の位置を関連づけることによって、より直感的な操作が可能となる。
[1.画像処理装置の構成]
[2.動作推移画像の生成・記録処理例]
[3.動作推移画像の再生表示処理例]
<3−1:ドラッグ操作>
<3−2:フリック操作>
<3−3:ポイント操作>
<3−4:他の操作例>
[4.表示処理]
[5.プログラム]
図1は実施の形態の画像処理装置1の構成例を示している。
この画像処理装置1は、動作推移画像としての画像合成処理を行う装置としており、また画像記録再生部40として、動作推移画像の記録や再生、表示を行う装置部(表示制御装置部)も有するものとしている。
これらの各部は必ずしも同一筐体内の構成部位とされるものには限らない。特に画像入力部10、動被写体情報生成部11、動被写体情報入力部12、出力デバイス40は、別体の構成部位とすることが考えられる。また動被写体情報生成部11と動被写体情報入力部12については一方を設けるのみでもよい。
さらに、画像記録再生部40は、別体の記録・再生・表示機器として構成されることも当然に想定される。
また入力画選択部2,レイヤー処理部3,画像出力部4,合成画像更新保持部5については、それぞれがハードウエアブロックとして構成されてもよいが、マイクロコンピュータ等の演算処理装置において、ソフトウエアプログラムによって実現される機能ブロックとして実現することもできる。
フレーム画像データとは、動画を構成する各フレームの1つであったり、例えば連写撮像された静止画の1枚1枚の画像などのことである。即ち1枚の画像を構成する画像データのことを広く示すものとして、「フレーム画像データ」という用語を用いる。
この画像入力部10は、当該画像処理装置1が撮像装置に搭載されるのであれば、レンズ系や受光素子、画像信号処理を行って撮像画像信号を得る一連の撮像系部位に相当することになる。
また外部の撮像装置で得られた撮像画像を取り込むのであれば、画像入力部10は、外部機器から転送・送信・ダウンロード等されてくる画像信号の受信処理系とされることもある。例えば放送波に対するチューナ部や、USB(Universal Serial Bus)インターフェース等の外部機器インターフェース部、さらには有線又は無線のネットワーク通信部などが想定される。
また、撮像画像データ等の画像信号がメモリカード(固体メモリ)、光ディスク等の記録媒体に記録されている場合は、画像入力部10は、これらの記録媒体に対して再生を行う再生系部位又は再生プログラムとして実現される。
なお、画像入力部10は前処理を行うこともある。動画像のファイルを受け取った場合に各フレームに展開したり、インターレース画像を受け取った場合にプログレッシブ化を行うなど処理に必要な形へ適切な変換を行う。また、拡大縮小を行うこともある。
動被写体情報とは、少なくとも入力されたフレーム画像データのうち、どの部分が動被写体であり、どの部分が背景であるかを判別することが可能な情報である。
動被写体情報生成部11は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を生成し、入力画選択部2に供給する。
動被写体情報生成部11は、動被写体と背景の分離のほか、複数の動被写体が存在する場合、それぞれを分離し、かつ深度別に分離することもある。この場合、動被写体情報を画像で表すときは動被写体か背景かの2値画像ではなく、各画素がどの深度にあるかを表す多値画像(または多チャンネル画像)となる。
なお、従って動被写体情報生成部11と動被写体情報入力部12は、少なくとも一方が設けられればよい。但し、動被写体情報生成部11で生成される動被写体情報と、動被写体情報入力部12で入力される動被写体情報を併用することもでき、その意味で、動被写体情報生成部11と動被写体情報入力部12が両方設けられることも有用である。
図1では、入力画選択部2内にキーフレーム判定部21と座標計算部22を示している。
キーフレーム判定部21は、キーフレームの判定処理や、それに基づくレイヤー処理部3に出力するフレーム画像データの選定を行う。また座標計算部22は、合成処理のための座標計算を行う。
キーフレーム判定部21は、画像入力部10から順次供給されるフレーム画像データのうちで、キーフレームとなるフレーム画像データを選定する処理を行う。
動作推移動画を生成する場合は、入力された全フレーム画像データをレイヤー処理部3の処理に供するが、キーフレームであるか否かによって、レイヤー処理部3での合成画像の扱いが異なることになる。
入力画選択部2は、このような動画として時間的に連続するフレームから、キーフレームを選択する。一例として、5フレーム置きのフレームをキーフレームとするとした場合、○を付したフレームF1,F6,F11,F16,F21・・・がキーフレームとなる。図2(b)には、これら各キーフレームの画像内容を図形で示している。
但し、合成過程では、キーフレームを残したそれまでの合成画像データに対して、新たなフレーム画像データを合成することになる。
図2(c)では、動作推移動画の最終フレームの画像例を示しているが、キーフレームのみを残した合成画像データに対して、新たなフレーム画像データを合成していくことで、最終フレームでは、キーフレームの画像がほぼ等間隔に並んだような画像内容となる。詳しくは後述する。
レイヤー分離部31は、動被写体情報を用いて、入力されたフレーム画像データのレイヤー分離を行う。レイヤーとは、1つのフレーム画像データにつき、動被写体部分と背景部分等で分離させたそれぞれをいう。レイヤー分離部31はレイヤー合成を行う該当範囲を、例えば動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。複数の動被写体が存在し、それらの深度がわかる場合はそれぞれの動被写体の数+背景の数のレイヤーに分離する。
上述のように入力画選択部2は、画像入力部10から順次供給されるフレーム画像データF1,F2,F3・・・をレイヤー処理部3に出力する。
また、入力画選択部2には、動被写体情報生成部11又は動被写体情報入力部12から、各フレーム画像データに対応した動被写体情報が供給されている。入力画選択部2は、フレーム画像データをレイヤー処理部3に供給する際には、そのフレーム画像データに対応する動被写体情報もレイヤー処理部3に供給する。
図3(b)には、分離後の動被写体レイヤーと背景レイヤーを示している。図3(b)上段の動被写体レイヤーは、図3(a)の入力画像のうちで動被写体部分(つまり動被写体情報=「1」の画素のみ)を抜き出した画像となる。
また図3(b)下段の背景レイヤーは、図3(a)の入力画像のうちで背景部分(つまり動被写体情報=「0」の画素のみ)を抜き出した画像となる。
そのような場合は、レイヤー分離部31は、動被写体の数+背景の数のレイヤーに分離することができる。
さらに、動被写体が有効となる範囲と、最終画像に残される背景の領域も異なる。
入力されるフレーム画像データとしての画像の幅と高さを(Wimg,Himg)、推移動作有効領域の幅と高さを(Wmov,Hmov)、残存背景領域の幅と高さを(Wback,Hback)とすると、例えば図4(a)(b)(c)のような領域態様が想定される。なお、図4(a)(b)(c)はそれぞれ一例であり、これらに限られない。
図4(a)(b)(c)に示す推移動作有効領域とは、主たる動被写体を切り出す範囲となる。また残存背景領域とは、合成処理において背景画像として用いる領域である。
図6〜図15で後述する動作推移画像のように、各動被写体画像を横方向に推移させる場合は、図4(b)の例のように高さ(Hmov、Hback)が、元のフレーム画像データの高さ(Himg)と同じ値とすることが好適な場合が多い。
また、各動被写体画像を縦方向に推移させる場合は、図4(c)の例のように幅(Wmov、Wback)が、元のフレーム画像データの幅(Wimg)と同じ値とすることが好適な場合が多い。
スポーツのフォーム確認など、動作対象が人物であり、かつ立っている場合は横推移となることが多く、柔道の寝技などが対象である場合は縦推移となる可能性が高い。このように推移方向と、それに伴う各画像の大きさは撮像対象に強く依存する。
図5(a)は、元の入力されたフレーム画像データであり、例えばフレーム画像データのサイズはVGA(640×480)であるとする。推移動作有効領域と残存背景領域の中心は入力画像であるフレーム画像データの中心と一致するものとする。
推移動作有効領域は、図5(b)のように、幅Wmov=320,高さHmov=480の領域とする。
残存背景領域は、図5(c)のように、幅Wback=160,高さHback=480の領域とする。
もちろんこれは一例にすぎず、実際には被写体の大きさや、動きに応じて適切な設定がされて、合成処理に用いる画像が切り出されればよい。
具体的な処理例については後述する。
ここでは画像記録再生部40は、記録媒体への記録動作、再生動作、表示動作を行う部位としての例で示している。
画像出力部4は、フレーム画像データの入力毎にレイヤー処理部3で生成される合成画像データを、記録媒体に記録する記録用のフレーム画像データとして順次、画像記録再生部40に出力する。
また画像出力部4は、さらに、フレーム画像データの入力毎にレイヤー処理部3で生成される合成画像データを、表示部45上で動作推移動画として表示させるために順次、画像記録再生部40に出力する。
例えば動作推移画像生成時には、画像出力部4から出力される各時点の合成画像を更新しながら保持していく。例えば前回、前々回などとして、合成処理過程で必要とされる過去の合成画像データを更新しながら保持する。また、各合成画像の生成時のキーフレームの情報や、キーフレームの動被写体情報等も記憶保持する。
なお、画像出力部4から画像記録再生部40に供給され、記録媒体に記録される合成画像データとしての各フレーム画像データは、上記入力画選択部2が入力する元のフレーム画像データと区別する意味で、「記録フレーム画像データ」ともいうこととする。
また記録再生処理部42は、UI制御部41の制御に基づき、記録媒体からの記録フレーム画像データの再生処理を行う。即ち記録媒体駆動部43を制御して、記録媒体からのデータ読出を実行させる。そして読み出された記録フレーム画像データについて、所定のデコード処理、エラー訂正処理等を行い、動画の各フレームを形成する記録フレーム画像データを再生する。そして記録フレーム画像データを表示再生のため、表示ドライバ44に供給する。
例えば光ディスクが用いられる場合、記録媒体駆動部43は、光ピックアップやスピンドル機構、サーボ機構などを備えたディスク駆動部として形成される。即ち、採用される記録媒体に応じて情報の書き込み/読み出しを行う部位とされればよい。
表示ドライバ44はUI制御部41の制御に基づき、表示部45に対して映像表示を実行させる。
この表示ドライバ44は、上記レイヤー処理部3での合成処理実行時に、画像出力部4から供給される合成画像データを表示部45に表示させる処理を行う。
また上記記録再生処理部42、記録媒体駆動部43の動作により再生が行われるときは、その再生された記録フレーム画像データを、表示部45に表示させる処理を行う。
タッチパネル46による操作情報(ユーザによるタッチ位置等の情報)はUI制御部41に供給される。UI制御部41はタッチ位置等の操作情報と、そのときの表示内容に応じて、記録再生処理部42に必要な再生動作を実行させる。
このような画像処理装置1において、主に入力画選択部2、レイヤー処理部3、画像出力部4、合成画像更新保持部5により実行される動作推移画像の生成処理例を説明する。
ここでは、図6〜図15のような動作推移動画を生成する場合を例に挙げ、図16〜図22により具体的な処理例を説明する。
上述のように入力されるフレーム画像データからは、キーフレームが選定されるが、合成処理はキーフレーム以外のフレームも用いる。但し、新たなフレーム画像データを合成する対象としての既存の合成画像データは、キーフレームのみが反映された画像である。
以下の図6〜図15の例では、キーフレームは図2(a)のように選定されるものとする。
次に2番目の、キーフレームではないフレーム画像データF2(以下、キーフレームではないフレーム画像データを「非キーフレーム」という)が入力された際の合成画像データを図7に示す。この場合、キーフレームF1に対して、所定量ずらした画素範囲に非キーフレームF2を合成する。なお、動被写体が重なった部分については、常に最新のフレームの動被写体画像が優先される。
合成は、既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採る。この非キーフレームF2を合成する時点での既存の合成画像データとは、図6のような合成画像データである。
ここで合成処理は、上記のように既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採るが、非キーフレームが入力された際の合成画像データは、既存の合成画像データとして用いられない。
従って、この非キーフレームF3が入力された際も、既存の合成画像データとは図6の合成画像データのままである。
つまり前回の非キーフレームF2は合成に用いられず、その時点での既存の合成画像データに対して非キーフレームF3が合成されるため、図のようにフレーム画像データF1,F3の動被写体が表現される画像となる。
図9は2つめのキーフレームF6が入力された際の合成画像データであるが、既存の合成画像データ(この場合はキーフレームF1のみ)に対してキーフレームF6が合成される。
但しこの時点で、この図9の合成画像データも、既存の合成画像データとして保存される。
合成に用いる既存の合成画像データとしては、直前のキーフレーム入力の際の合成画像データ(前回合成画像データ)だけでなく、さらにその前のキーフレーム入力の際の合成画像データ(前々回合成画像データ)を用いても良い。
例えば後述する具体的な処理例では、前回合成画像データと前々回合成画像データを用いるため、ここでも前回合成画像データと前々回合成画像データを用いるものとして説明する。
なお、既存の合成画像データを用いるのは、レイヤー合成の際に、各画素について優先順位を付けて合成するためであるが、その意味で動被写体の重なり部分がどの程度の範囲になるかにより、過去に遡っての合成画像データの使用範囲を設定すればよい。例えば、前々々回合成画像データ、前々々々回合成画像データなどを合成処理に用いる例も考えられる。
さらに非キーフレームF8が入力された際の合成画像データを図11に示す。この場合も既存の合成画像データに非キーフレームF8の画像が合成されることで、図のようなキーフレームF1,F6の画像と非キーフレームF8の画像による合成画像が生成される。
その後に非キーフレームF9、F10が入力された際も同様である。
但しこの時点で、この図12の合成画像データも、既存の合成画像データとして保存される。そしてこの時点で、既存の合成画像データとして、前回合成画像データは図12の合成画像に、前々回合成画像データは図9の合成画像に更新されて保持される。
つまり、各キーフレームの被写体画像を残しながら、非キーフレームを含めて各フレームの被写体画像が合成されていき、各時点でその合成画像データが出力される。
これにより、ゴルフスイング等の動作推移を表現する動画、即ち動作推移動画が出力されることになる。
図16は、動作推移動画を生成する際の、入力画選択部2、レイヤー処理部3、画像出力部4、合成画像更新保持部5によって実行される処理を示している。
ステップF101〜F105は入力画選択部2の処理となる。
上述したように入力画選択部2には、画像入力部10から時間的に連続するフレーム画像データが供給される。
入力画選択部2は、1枚のフレーム画像データが供給されるたびにステップF102で、そのフレーム画像データと、動被写体情報生成部11(又は動被写体情報入力部12)からフレーム画像データに対応する動被写体情報を取り込む処理を行う。
なお、ステップF101の判断は、動作推移動画を生成する一連のフレーム画像データの取込、つまり画像入力部10からの供給が終了したか否かの判断である。つまり動作推移動画として反映させる所定数のフレーム画像データの入力が完了するまでは、ステップF101からF102に進むことになる。
なお、上述のように、キーフレームは必ずしも等間隔で設定する必要はない。例えば図6〜図15で示したようなゴルフスイングの画像の場合、ボールへのインパクトの瞬間の前後では、細かい間隔でキーフレームを設定するなどの手法もとり得る。
なお、最初のキーフレームとされたフレーム画像データについての合成処理が行われるまでは、前回合成画像データ、前々回合成画像データは存在しない。また、2番目のキーフレームとされたフレーム画像データについての合成処理が行われるまでは前々回合成画像データは存在しない。ステップF104では、その時点で前回合成画像データ、前々回合成画像データが合成画像更新保持部5に保存されていれば、それを取り込むという処理となる。
入力画選択部2は、このステップF105で算出した座標と、今回のフレーム画像データ及び動被写体情報と、前回合成画像データと、前々回合成画像データとを、レイヤー処理部3に出力する。
プロセス判定とは、効率的な合成処理を行うために、合成処理を行う範囲での画素毎(或いは列毎、或いは行毎)に、どのような合成処理プロセスを実行するかを判定する処理である。
なお、上記図6〜図15のように、被写体画像が横方向に推移していく動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは列毎に行えばよい。一方、図示しないが、被写体画像が上下方向に推移していくような動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは行毎に行えばよい。以下では、図6〜図15の例に合わせて、列毎にプロセス判定を行うという例に基づいて説明する。
本例では、合成処理には、今回のフレーム画像データと、前回合成画像データと、前々回合成画像データを用いる。既存の2つの合成画像データを用いる場合、判定するプロセス数は6個(プロセスP1〜P6)となる。もし、前々々回合成画像データ等、使用する合成画像データが増える場合は、プロセス数は増加する。
また、合成処理では、前回合成画像データに含まれる前回キーフレームの範囲の情報及び動被写体情報や、前々回合成画像データに含まれる前々回キーフレームの範囲の情報及びその動被写体情報を用いる。これらについては、前回合成画像データ、前々回合成画像データに付随して合成画像更新保持部5に保存され、上記ステップF102で読み出されるものとすればよい。
プロセス判定を行う各列とは、例えば図13の時点で言えば、A1〜A7の範囲の各列となる。
この範囲で画素一列(図13の場合は合成画像データの上段の画素一列)を、それぞれ注目列としてプロセス判定を行う。
レイヤー処理部3は、まずステップF201として、1列を注目列とし、その画素位置(合成画像データ内での座標位置)を取得する。
そしてステップF202では、注目列の位置が前回合成画像データの範囲内か否かを判別する。前回合成画像データの範囲とは、図13のA3領域〜A7領域の範囲である。
注目列が前回合成画像データの範囲内でなければ、レイヤー処理部3はステップF203に進み、注目列が今回の推移動作有効領域内であるか否かを判別する。今回の推移動作有効領域とは、今回入力されたフレーム画像データ(キーフレーム又は非キーフレーム)の推移動作有効領域(図5(b)参照)のことであり、図13のA2領域〜A5領域の範囲である。
またレイヤー処理部3は、ステップF203で、注目列が今回の推移動作有効領域内であると判断した場合は、当該注目列については、プロセスP2を適用すると判定する。これは、注目列が図13のA2領域内となる場合である。
図13の例で言えば、A5領域内の列が、後領域内と判定される。
ステップF205で、注目列が後領域に該当すると判別した場合は、レイヤー処理部3は、当該注目列については、プロセスP4を適用すると判定する。これは、注目列が図13のA5領域内となる場合である。
注目列が前々回合成画像データの範囲内ではないと判定した場合、レイヤー処理部3は、当該注目列については、プロセスP5を適用すると判定する。これは、注目列が図13のA3領域内となる場合である。
またステップF206で注目列が前々回合成画像データの範囲内であると判定した場合、レイヤー処理部3は、当該注目列については、プロセスP6を適用すると判定する。これは、注目列が図13のA6領域内となる場合である。
そして、ステップF108,F109については後述するが、ステップF110で今回入力された現在のフレーム画像データについて処理が終了したと判断されるまで、ステップF106〜F109の処理を繰り返す。つまり、プロセス判定処理を列単位で行うとした場合、全列についてプロセス判定及び合成処理を行うまで繰り返すことになる。
まず、図18に合成処理に用いる画像データを示す。
図18(a)は、ステップF102で今回入力された入力画像(フレーム画像データ)の推移動作有効領域を示している。
図18(b)は、今回の時点で既存の前回合成画像データを示している。
図18(c)は、今回の時点で既存の前々回合成画像データを示している。
なお、これらは図13の時点における入力画像、前回合成画像データ、前々回合成画像データの例としている。
従って注目列がプロセスP1と判定された場合は、ステップF107では、特に画素を合成結果に反映させるという合成処理は行わない。
プロセスP1が適用される列は、図13のA1領域の各列であり、従ってA1領域は何も描画されない。
プロセスP2が適用される列は、図13のA2領域の各列である。このA2領域は、前回合成画像データ(及び前々回合成画像データ)とは重複しない領域となる。従って、今回の入力画像の画素をそのまま反映させればよい。
A2領域に相当する画素とは、図19(a)に示すように、入力画像の推移動作有効領域において斜線部で示す各列の画素となる。
この各列の画素については、そのまま図13のA2領域の画素としてコピーする。
プロセスP3が適用される列は、図13のA6領域及びA7領域の各列である。このA6領域及びA7領域は、今回入力されたフレーム画像データの推移動作有効領域とは重複しない領域となる。従って、前回合成画像データの画素をそのまま反映させればよい。
A6領域及びA7領域に相当する画素とは、図19(b)に示すように、前回合成画像データにおいて斜線部で示す各列の画素となる。
この前回合成画像データの各列の画素については、そのまま図13のA6領域及びA7領域の画素としてコピーする。
プロセスP4が適用される列は、図13のA5領域の各列である。このA5領域は、今回入力されたフレーム画像データの後領域となる。この領域は、今回のフレーム画像データの動被写体のみが、前回合成画像データに重なって表示されるようにする。
図20の上段には、入力画像の動被写体画像を示している。これは入力されたフレーム画像データについて図3で説明したレイヤー分離を行った後の、動被写体レイヤーとなる。即ちレイヤー処理部3は、レイヤー分離部31の機能により、今回入力されたフレーム画像データについて動被写体情報を用いてレイヤー分離を行い、図示する動被写体のみの画像(背景のない画像)を生成する。
そして、この図20の動被写体画像のうちで、斜線部が、後領域に相当する。この後領域に該当する各列の画素において、動被写体画像を構成する画素のみを、図20下段に示す前回合成画像データのA5領域相当部分(斜線部)に転写する。
このように前回合成画像データ上に、今回のフレーム画像データの後領域の動被写体画素が転写された状態が、図13のA5領域の合成画像データとして反映される。
プロセスP5が適用される列は、図13のA3領域の各列である。このA3領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データとが重なる部分である。そのため、図21に示す優先順位で3つのレイヤーを合成する。
図21(a)は入力画像の動被写体画像(動被写体レイヤー)を示している。また図21(c)は入力画像の背景画像(残存背景レイヤー)を示している。
レイヤー処理部3は、レイヤー分離部31の機能により、上記プロセスP4の場合と同じく、入力されたフレーム画像データについて図3で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。
また図21(b)は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像(動被写体レイヤー)を示している。なお、前回キーフレーム画像は前回合成画像データに含まれるが、前回キーフレームの動被写体画像の抽出は、前回キーフレームに対応する動被写体情報を用いて抽出できる。
この図21(a)(b)(c)において、図13の合成後の画像上での領域A3に相当する部分には斜線を付している。
プロセスP5の合成処理では、図21(a)(b)(c)の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第1優先、前回キーフレームの動被写体画像を第2優先、入力画像の背景画像を第3優先としてレイヤー合成する。
つまり、図21(a)の斜線部で動被写体を構成する画素は、それが最優先される。図21(a)の斜線部で動被写体を構成する画素以外の部分は、図21(b)の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図21(c)の背景画像を構成する画素が当てはめられる。
そしてこのように3レイヤーの画素が合成された状態が、図13のA3領域の合成画像データとして反映される。
プロセスP6が適用される列は、図13のA4領域の各列である。このA4領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データ及び前々回合成画像データとが重なる部分である。そのため、図22に示す優先順位で4つのレイヤーを合成する。
図22(a)は入力画像の動被写体画像(動被写体レイヤー)を示している。また図22(d)は入力画像の背景画像(残存背景レイヤー)を示している。
また図22(b)は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像(動被写体レイヤー)を示している。
また図22(c)は、前々回合成画像データが生成された際のキーフレーム、即ち前々回キーフレームの動被写体画像(動被写体レイヤー)を示している。
レイヤー処理部3は、レイヤー分離部31の機能により、上記プロセスP4の場合と同じく、入力されたフレーム画像データについて図3で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。また、前回合成画像データ、前々回合成画像データから、それぞれ動被写体情報を用いて前回キーフレームの動被写体画像、前々回キーフレームの動被写体画像を抽出する。
この図22(a)(b)(c)(d)において、図13の合成後の画像上での領域A4に相当する部分には斜線を付している。
プロセスP6の合成処理では、図22(a)(b)(c)(d)の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第1優先、前回キーフレームの動被写体画像を第2優先、前々回キーフレームの動被写体画像を第3優先、入力画像の背景画像を第4優先としてレイヤー合成する。
つまり、図22(a)の斜線部で動被写体を構成する画素は、それが最優先される。図22(a)の斜線部で動被写体を構成する画素以外の部分は、図22(b)の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。さらに図22(a)(b)で動被写体を構成する画素がない部分であって図22(c)の斜線部において動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図22(d)の背景画像を構成する画素が当てはめられる。
そしてこのように4レイヤーの画素が合成された状態が、図13のA4領域の合成画像データとして反映される。
図16のステップF107では、ステップF106でのプロセス判定結果に応じて、注目列の処理として上記プロセスP1〜P6のいずれかが実行される。
なお、列単位ではなく、画素単位でステップF106〜F109の処理を繰り返しても良い。
そして、合成処理対象の全ての列(全ての画素)について、いずれかのプロセスの処理が行われた時点で、例えば図13のような合成画像データが完成することになる。
その時点で図16の処理はステップF110からF111に進む。
なお、画像出力部4は、合成処理に要する時間や、画像入力部10からのフレーム画像データの入力間隔などに応じて、或いはゆっくり推移する動画を表現するためなどに応じて、1枚の合成画像データを、動作推移動画を構成する複数のフレームとして連続して出力するようにしてもよい。
今回入力されたフレーム画像データがキーフレームであった場合は、ステップF113で、今回生成された合成画像データを、以降の処理で前回合成画像データとして使用するために、合成画像更新保持部5に保存する処理を行う。
合成画像更新保持部5は、その時点で保持している前回合成画像データを、前々回合成画像データとし、新たに今回画像出力部4から供給される合成画像データを前回合成画像データとして保持する。なお、キーフレームの動被写体情報なども付随して記憶する。
以上のステップF101〜F113の処理が、フレーム画像データ入力毎に繰り返される過程で、図6〜図15に示したような動作推移動画が出力される。
即ちステップF111での画像出力部4による合成画像データの出力によって、画像記録再生部40は記録処理及び表示処理を行う。
表示ドライバ44は、この合成画像データを動画の1フレームとして、表示部45に表示させる。この結果、表示部45には、図6〜図15に示したような動作推移動画が表示出力されることになる。
つまり合成処理の過程が、そのまま表示される。
即ち、画像出力部4からの合成画像データは、記録再生処理部42に対して記録フレーム画像データとして供給される。
記録再生処理部42は、この各記録フレーム画像データを、動作推移動画を構成する各フレームとして処理を行い、記録媒体駆動部43の動作を制御して、一連の動画データとして記録媒体に記録させていく。
図23(a)は、入力画選択部2に入力される元のフレーム画像データF1、F2・・・を模式的に示している。
上述した処理で、フレームF1、F2、F3・・・がそれぞれ入力された時点で、それぞれ合成処理が行われ、図23(b)に示す各合成画像データ(rF1、rF2・・・)が生成される。
この図23(b)の各合成画像データが、例えば図6〜図15のような1フレームの画像データである。
なお、この図23(b)からも分かるように、キーフレームの合成時の合成画像データだけでなく、非キーフレームの合成時の合成画像データも、記録フレーム画像データの1つとして記録される。
又この時点では、それまでの全ての合成画像データが、記録フレーム画像データとして記録媒体に記録された状態となる。
特にレイヤー合成により、各動被写体画像が、例えばゴルフクラブの先端等が欠けずに的確に表現され、しかも多数の動被写体画像を並べることができ、時間的に細かい間隔で動作推移を表現できる。
これにより、自己のスポーツのフォーメーションや、野生動物の複雑な動き、実験室における自然現象などを簡単に、かつ非常にわかりやすく確認することができるようになる。また画像データの切り貼りなどの手作業を必要としないのでユーザー負担も非常に軽く有用性が高い。
また、各時点の合成画像データを動作推移動画のための記録フレーム画像データとして記録媒体に記録しておくことで、後ので時点での再生によって画像の合成過程を動的に表示することが可能となり、合成される各々の映像の関連性がユーザーに理解しやすく伝えられる。
特に後述するドラッグ操作、フリック操作、ポイント操作として例を述べるように、ユーザにとって直感的に分かりやすい操作で、動作推移動画の再生や、各動作段階の画像再生を行うことが可能となる。
ステップF109のコピー処理とは、例えば図14の時点で、上段の最後の動被写体を下段の最初の動被写体としてコピーする処理のことである。
図14に示すように、合成画像データの上段の右端(左から右へ移行する場合)の所定範囲を下段コピー範囲と設定しておく。
そして、レイヤー処理部3は、プロセス判定を行い、合成画像データに合成した各列について、ステップF108では、その列(又は画素)が、下段コピー範囲(即ち上段の最後の領域)に該当するか否かを判別する。下段コピー範囲に該当した場合は、ステップF109で、その列の画素を、下段の対応位置にコピーしていく。
この処理を行うことで、図14のように、上段における下段コピー範囲の画像が合成される際には、同時に下段にも同じ画像が合成される。
動作推移動画の表示上では、図14の上段の最後の動被写体と、下段の最初の動被写体は、同じ画像が同時に表れてくることになる。
例えば横長の画像として、横方向に全て並べていく(2段以上にしない)合成処理を行っても良いが、その場合は、ステップF108,F109の処理は不要である。
従って、例えば携帯電話機、PDA(Personal Digital Assistant)、パーソナルコンピュータ、ビデオ再生装置、ビデオ編集装置などに広く適用できる。
<3−1:ドラッグ操作>
上記のように、動作推移画像を構成する合成画像データ(記録フレーム画像データ)は、合成処理時に記録媒体に記録される。
この記録媒体に記録された記録フレーム画像データを再生表示することで、ユーザは合成処理後の時点でも任意に動作推移画像を動画として見ることができる。
すると、記録再生処理部42では、記録媒体に記録した図23(b)のような記録フレーム画像データrF1、rF2・・・を記録媒体駆動部43に読み出させ、再生処理を行って表示ドライバ44に供給する。
表示ドライバ44は、供給された各記録フレーム画像データrF1、rF2・・・を順次表示部45に表示させていく。
すると図6〜図15に示したような動作推移動画が、表示部45で表示される。
これによって、ユーザは、単に図15のような動作推移画像としての静止画だけでなく、図6〜図15が動画として、スイングフォーム等の画像を任意の時点で見ることができる。
例えば図6〜図15の動作推移動画を再生させた場合、UI制御部41は、一連の記録フレーム画像データrF1、rF2・・・を動画として再生させたら、図15の最終フレームの記録フレーム画像データrF(z)を継続して表示出力させる。
ここで、図15のような最終フレームの記録フレーム画像データrF(z)は、キーフレームのみがほぼ等間隔で並んだ画像である。
ユーザにとっては、キーフレームとキーフレームの間(つまり非キーフレームの画像)も見直したい場合もある。
まず、その操作手法としてドラッグ操作の例を述べる。
なお、この記録フレーム画像データrF93は、図示のように元のフレーム画像データとしてのキーフレームF1,F6,F11・・・・F93が合成された合成画像データである。上記合成処理で言えば、元のフレーム画像データF93が入力されたときに行われた、その時点での既存の合成画像データ(キーフレームF1〜F88の合成画像)と、フレームF93の合成処理によるものである。
この合成画像データは、記録フレーム画像データrF93として記録媒体に記録されている。
そしてこの図24は、例えばユーザが動作推移動画を再生させ、動画再生完了後に、最終フレームである、この記録フレーム画像データrF93が継続して表示出力されている状態である。
なお、この場合の「最新のフレーム画像データ」とは、表示上での、合成前の元のフレーム画像データのうちで、最も時間軸上で後方となるフレーム画像データのことをいう。ここでは、あくまでも表示されてる再生画像は、合成画像データである記録フレーム画像データrF93であるが、「最新のフレーム画像データ」の領域ANとは、元のフレーム画像データF93からの動被写体や背景画像が配置された領域のことである。
一例として、最新のフレーム画像データの領域ANとは、例えば図13の場合での今回のフレームの推移動作有効領域(A2〜A5)の範囲としてもよい。或いは動被写体が主に位置する領域A3、A4の範囲などとして設定しても良い。
すると、図25のように、ドラッグ操作drkに応じて、再生画像が変化する。つまり、ドラック操作の終端位置に応じた再生画像が出力されるようにする。
この例では、ドラッグ操作の終端位置は、元のフレーム画像データF58に対応する位置であったとすると、この元のフレーム画像データF58の合成時の合成画像データ(記録フレーム画像データrF58)までが再生される。
即ち、記録フレーム画像データrF93の継続出力の状態から、ドラッグ操作に伴って、記録フレーム画像データrF92→rF91→rF90→・・・・と時間軸上、逆方向に各フレームが再生される。いわゆるリバース再生画面が、指の押圧位置の移動に応じて実行される。そして、ユーザがドラッグ操作が終了させた位置が、例えば記録フレーム画像データrF58の対応位置であれば、当該リバース再生が図25の状態で終了し、図25の記録フレーム画像データrF58の出力が継続される。つまり表示上は静止画状態となる。
この領域AN内に指をあて、少しだけ右方にドラッグ操作drkを行ったとする。
そのドラッグ操作の終端位置が、元のフレーム画像データF59に対応する位置であったとすると、図27のように、元のフレーム画像データF59の入力時の合成画像データである記録フレーム画像データrF59が再生される。つまり、通常方向に動画の1コマ進行する再生となる。
つまりドラッグ操作中は、指でなぞっていく速度に応じて順方向又は逆方向の動画再生を見ることができ、ドラッグ操作を終了したら、その終了位置に対応する静止画を見ることができる。
なお、上記例における元のフレーム画像データF58,F59は非キーフレームである。図23で説明したように、キーフレーム入力時の合成画像データだけでなく、非キーフレームの入力時の合成画像データも、それぞれ区別なく一連の動画を構成する記録フレーム画像データとして記録される。従って、再生時には元のフレーム画像データがキーフレームであったか否かは関係ないものとなる。
換言すれば、このようにキーフレーム、非キーフレームの区別なく、合成画像データを記録しておくことで、元の全てのフレーム画像データの各段階の画像を、ユーザは任意に見ることができるようになる。
図28(a)のように、ユーザが表示上で最新のフレーム画像データの領域AN内から右方向にドラッグ操作drkを行うことで、操作結果として、そのドラッグ操作の終端位置に対応するフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
図28(b)のように、ユーザが表示上で最新のフレーム画像データの領域AN内から左方向にドラッグ操作drkを行うことで、操作結果として、そのドラッグ操作の終端位置に対応するフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。
ただし、もちろん、このような場合にも、例えばドラッグ操作の終端位置までの各記録フレーム画像データの再生を行うという処理例も考えられる。
以下に述べる処理は、UI制御部41がタッチパネル46の入力に応じて記録再生処理部42等を制御する処理となる。
UI制御部41は、タッチパネル41により検知されるドラッグ操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を実行させる。
ここでは図24のような画面上2段の表示ではなく、図28のように画面上は1段で全て横方向に並べる動作推移動画であるとして説明する。
その場合、表示部45の画面上(タッチパネル46上)の横方向の座標としてx座標を考える。
一連の元のフレーム画像データについて、n番目のフレームFnのx座標を、
x=fx(n)
とする。また、その逆変換関数を、
n=Fx(x)
とする。
このタッチパネル64上のx座標と、フレームナンバnの関数を用いることで、ドラッグ操作の移動量に応じて、再生すべき記録フレーム画像データを判定することができる。
そして上記関数は次のように考える。
例えば図23(c)の記録フレーム画像データrF4は、元のフレーム画像データF4に対応し、元のフレーム画像データF4の記録フレーム画像データrF4内での描画位置のx座標値=wであるとする。
この場合、x座標値=w、フレームナンバn=4であることから、
w=fx(4)
4=Fx(w)
となる。
そして得られるフレームナンバ「4」とは、元のフレーム画像データF4のフレームナンバであるが、これが再生対象のフレームナンバとして、記録フレーム画像データrF4を示すものとなる。
或る記録フレーム画像データrFmを再生させているときに、タッチパネル46による操作が検知された場合、UI制御部41はステップF401で、まず最初にドラッグ開始位置としてのx座標値x1を取得する。つまり、最初にタッチパネル46に対してユーザが触れた位置をドラッグ開始位置として、そのx座標値を検出する。
図28(c)に示したように、ドラッグ開始位置x1が領域ANの範囲でなければ、今回のドラッグ操作は無効なものとするため、その場合はステップF402から図29のドラッグ操作対応処理を終える。
一方、ドラッグ開始位置x1が領域AN内であればステップF403〜F405の処理を行う。
ステップF404ではUI制御部41は、描画するフレーム位置の演算を行う。
この場合ドラッグ移動量Δxとして、
Δx=x2−x1
の計算を行う。
なお、図28(a)のように右方向へのドラッグ操作の場合、ドラッグ移動量Δxは正値となり、図28(b)のように左方向へのドラッグ操作の場合、ドラッグ移動量Δxは負値となるとする。(動作推移が左から右に進行し、またx座標値が例えば画面左端を0として右に正値で進行するとした場合)
つまりドラッグ移動量Δxの正負は、ドラッグ方向を示すものとなり、この場合のドラッグ移動量Δxは、ドラッグ移動量とドラッグ方向を合わせて示す値となる。
そしてn=Fx(x1+Δx)の関数演算により、フレームナンバnを得る。
フレームナンバnの記録フレーム画像データrFnまでが、単位時間のドラッグ操作に応じて再生すべきフレームとなる。
即ちドラッグ開始時点に表示中の或る記録フレーム画像データrFmから、フレームナンバnの記録フレーム画像データrFnまでを再生させる。
この場合、rFm<rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m+1)→rF(m+2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図28(a)のような表示が実行される。
また、rFm>rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m−1)→rF(m−2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図28(b)のような表示が実行される。
ドラッグ操作が終了されていれば、処理を終える。この場合、UI制御部41は、記録再生処理部42及び表示ドライバ44には、以降、ドラッグ終了時点でのフレーム画像データrFnを継続出力させるように指示する。
一方、ドラッグ操作が継続していれば、ステップF407でx2の値をx1に代入する。つまりその時点での経過位置x2を、次の単位時間でのドラッグ開始位置x1をみなすようにする。そして再びステップF403に戻って同様のステップF403〜F405の処理を行う。従って、引き続き継続されているドラッグ操作に応じた再生が行われる。
つまりUI制御部41は、単位時間毎にタッチパネル41により検知されるドラッグ操作量及びドラッグ操作方向を検出する。そして現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに、その開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。
特に動画の時間軸上の位置と、タッチパネルによる空間軸上の位置を関連づけることによって、より直感的な操作が可能となる。
次に、他の操作例としてフリック操作を説明する。
フリック操作とは、ユーザがタッチパネル46上を指ではじくような操作である。
図30(a)のように、ユーザが表示上で最新のフレーム画像データの領域AN内から右方向にフリック操作を行ったとする。つまり図30(b)のように領域AN内を右方向に指ではじいたとする。
この場合、操作結果として、そのフリック操作に応じて所定のフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
また図30(c)のように、ユーザが表示上で最新のフレーム画像データの領域AN内から左方向にフリック操作を行った場合は、そのフリック操作に応じて所定のフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。
ただし、もちろん、このような場合にも、フリック操作に応じて各記録フレーム画像データの再生を行うという処理例も考えられる。
UI制御部41によるフリック操作対応処理の例を図31に示す。
フリック操作位置x1が領域ANの範囲でなければ、今回のフリック操作は無効なものとし、ステップF502から図31のフリック操作対応処理を終える。
一方、フリック操作位置x1が領域AN内であればステップF503に進む。
なお、フリック方向が右方向(図30(a)の例の場合)であれば、フリック速度Vdは正値となるようにする。またフリック方向が左方向(図30(c)の例の場合)であれば、フリック速度Vdは負値となるようにする。
例えばフリック速度Vdの絶対値に対して、フレーム数を対応付けておく。例えばフリック速度が速いほど多数のフレーム数に相当する変位距離Δxとなるような線形関数もしくは非線形関数を設定しておく。
つまりユーザが素早く指ではじいた場合は、多数のフレームが再生され、ゆっくり指ではじいた場合は、小数のフレームが再生されるようにするものである。
右方向に素早くはじいた場合、変位距離Δxの値は正値で大きい値となる。
右方向にゆっくりはじいた場合、変位距離Δxの値は正値で小さい値となる。
左方向に素早くはじいた場合、変位距離Δxの値は負値で絶対値が大きい値となる。
左方向にゆっくりはじいた場合、変位距離Δxの値は負値で絶対値が小さい値となる。
フレームナンバnの記録フレーム画像データrFnまでが、今回のフリック操作に応じて再生すべきフレームとなる。
即ち現在表示中の或る記録フレーム画像データrFmから、フレームナンバnの記録フレーム画像データrFnまでを再生させる。
この場合、rFm<rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m+1)→rF(m+2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図30(a)のような表示が実行される。
また、rFm>rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m−1)→rF(m−2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図30(c)のような表示が実行される。
なお以降、UI制御部41は、記録再生処理部42及び表示ドライバ44には、フリック操作に応じた再生の終了時点でのフレーム画像データrFnを継続出力させるように指示する。
つまりUI制御部41は、タッチパネル41により検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。
或いは、フリック操作の場合は、フリック速度にかかわらず、常に一定の変位距離Δxを用いるという処理も考えられる。
例えば1回のフリック操作では、常に10フレーム再生が進行するなどとする例である。
次に、さらに他の操作例としてポイント操作を説明する。
ポイント操作とは、ユーザがタッチパネル46上で或る位置を触れて指定する操作である。
図32(a)のように、ユーザが表示上で或る位置に触れたとする。例えばその時点の表示内容として、何も表示されていない位置である。この場合、操作結果として、そのポイント操作に応じて所定のフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
また図32(b)のように、ユーザが表示上で、或るフレーム画像データの位置にポイント操作を行った場合は、そのポイント操作に応じて所定のフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。
UI制御部41によるポイント操作対応処理の例を図33に示す。
n=Fx(xp)
を行い、ポイント操作位置xpに対応するフレームナンバを求める。
フレームナンバnの記録フレーム画像データrFnまでが、今回のポイント操作に応じて再生すべきフレームとなる。
即ち現在表示中の或る記録フレーム画像データrFmから、フレームナンバnの記録フレーム画像データrFnまでを再生させる。
この場合、rFm<rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m+1)→rF(m+2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図32(a)のような表示が実行される。
また、rFm>rFnであれば、記録再生処理部42は、記録フレーム画像データrFm→rF(m−1)→rF(m−2)・・・rFNと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ44に供給する。表示ドライバ44は供給された記録フレーム画像データrFm〜rFNを順次表示部45に表示させる。
これによって図32(b)のような表示が実行される。
なお、UI制御部41は以降、記録再生処理部42及び表示ドライバ44には、ポイント操作に応じた再生の終了時点でのフレーム画像データrFnを継続出力させるように指示する。
つまりUI制御部41は、タッチパネル41により検知されるポイント操作位置xpに応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。
ポイント操作位置xpが、現在の最新のフレーム画像データANの位置より後方のx座標値、つまり図32(a)のように画像表示の無い領域であれば、所定フレーム数の順方向再生を行う。一方、ポイント操作位置xpが、現在の最新のフレーム画像データANの位置より前方のx座標値、つまり図32(b)のように、若いナンバのフレーム画像データに対応する位置であれば、所定フレーム数のリバース再生を行う。即ち、前方/後方のみを指定するものとし、再生フレーム数は一定とする処理例である。
以上、ドラッグ操作、フリック操作、ポイント操作の例を挙げたが、操作例は他にも各種考えられる。
例えばドラッグ&ドロップ操作として、指を離した位置をドロップ位置とする。そしてドロップ時点で、ドラッグ開始位置からドロップ位置にまでの対応する記録フレーム画像データを動画再生すると言うことが考えられる。
或いは、動画再生とはせず、いきなりドラッグ終了位置、ポイント操作位置に対応する記録フレーム画像データを静止画として再生表示させることも考えられる。
また動作推移画像が左右方向に並べられる例であるため、上記各処理例ではx座標値を用いたが、動作推移画像が上下に並べられる画像であれば、当然y座標値に置き換えて考えればよい。
例えばマウスを用いて、ドラッグ操作、フリック操作、ポイント操作を行うことが想定される。
さらにリモートコントローラを用いた操作も考えられる。例えばクリックボタンや角速度センサ、加速度センサ等を供えたリモートコントローラを用いれば、画面上のポインタを移動させるなどとしてドラッグ操作、フリック操作、ポイント操作を行うことも容易である。また、画面上に光入力位置の座標検出ができる検出部を備えるようにして、光を画面上に当てるレーザポインタ等で操作を行うこともできる。
上記実施の形態において、画像記録再生部40,又はUI制御部41は、次の(A)(B)(C)の構成の表示制御装置と捉えることができる。
(B)上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。
(C)ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御部を備えている。
この各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容とは、例えば図24〜図27のそれぞれのように、多数の動被写体が並んだ表示をいう。
そして同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。例えば図24〜図27のそれぞれのように、同一人物等としての同一の動被写体の各時点での状態(例えばゴルフスイング過程の各状態)の画像が、表示上で時系列順序で並んで表示されるようにする。
さらに、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際とは、上記のドラッグ操作、フリック操作、ポイント操作等の際に相当する。また動画的再生処理としては、ユーザ指示に限らず、動画や擬似的な動画が再生される各種の場合をいう。
このような際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する。つまり、表示中の状態と異なる時点での同一の動被写体を表示させるときには、その各動被写体画像の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示させるようにする。例えば表示内容を図24から図25に変化させるような場合である。
即ちどのようなソースの画像であろうと、時系列順に並ぶ同一の動被写体の各時点の画像を、画面上に分割し、時系列順に並べて表示する場合に適用できる。
以上の実施の形態は、画像処理装置1として説明したが、本発明の表示制御装置は動作推移画像の再生表示を行う専用装置とする他、画像表示処理を行う各種機器に適用できる。例えば撮像装置、家庭用又は業務用の画像記録再生装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、表示制御装置を実現することも当然想定される。
例えば図29、図31、図33のような各種操作に対応する処理を演算処理装置に実行させるプログラムを画像表示処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像表示処理を実現できる。
即ち、フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体を対象とする。
そして或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生制御を行い、再生された記録フレーム画像データの表示制御を行うステップとを実行させる。
即ち、まず予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御するプログラムである。そして、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御する。またユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるようにする表示制御を実行させる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (13)
- フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、上記記録フレーム画像データの再生処理を行う再生処理部と、
ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、上記再生処理部に判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行う表示制御部と、
を備えた表示制御装置。 - 上記表示制御部は、上記ユーザ指示として検知されるドラッグ操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項1に記載の表示制御装置。
- 上記表示制御部は、上記ユーザ指示として検知される単位時間毎のドラッグ操作量及びドラッグ操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項2に記載の表示制御装置。
- 上記表示制御部は、上記ユーザ指示として検知されるフリック操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項1に記載の表示制御装置。
- 上記表示制御部は、上記ユーザ指示として検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項4に記載の表示制御装置。
- 上記表示制御部は、上記ユーザ指示として検知されるポイント操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項1に記載の表示制御装置。
- 上記表示制御部は、上記ユーザ指示として検知されるポイント操作の位置に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項6に記載の表示制御装置。
- 上記ユーザ指示の入力のため、上記記録フレーム画像データを再生出力する表示部に対して設けられたタッチパネル部が設けられた請求項1に記載の表示制御装置。
- フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、
検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行うステップと、
を備えた表示制御方法。 - フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、
検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行うステップと、
を演算処理装置に実行させるプログラム。 - 予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御する表示制御装置において、
上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御し、またユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御部を備えた表示制御装置。 - 予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御する表示制御方法において、
上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、
ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御方法。 - 予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御するプログラムであって、
上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、
ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるようにする表示制御を演算処理装置に実行させるプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009284758A JP5293587B2 (ja) | 2009-12-16 | 2009-12-16 | 表示制御装置、表示制御方法、プログラム |
TW099141960A TWI450180B (zh) | 2009-12-16 | 2010-12-02 | Display control device, display control method, program |
CN2010800563849A CN102656548A (zh) | 2009-12-16 | 2010-12-08 | 显示控制装置、显示控制方法和程序 |
KR1020127014824A KR20120102071A (ko) | 2009-12-16 | 2010-12-08 | 표시 제어 장치, 표시 제어 방법, 프로그램 |
US13/514,330 US9851894B2 (en) | 2009-12-16 | 2010-12-08 | Display control device, display control method, and program |
EP10837475.2A EP2515531A4 (en) | 2009-12-16 | 2010-12-08 | Display control device, display control method, and program |
PCT/JP2010/071959 WO2011074446A1 (ja) | 2009-12-16 | 2010-12-08 | 表示制御装置、表示制御方法、プログラム |
IN5086DEN2012 IN2012DN05086A (ja) | 2009-12-16 | 2012-06-08 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009284758A JP5293587B2 (ja) | 2009-12-16 | 2009-12-16 | 表示制御装置、表示制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011130046A JP2011130046A (ja) | 2011-06-30 |
JP5293587B2 true JP5293587B2 (ja) | 2013-09-18 |
Family
ID=44167203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009284758A Active JP5293587B2 (ja) | 2009-12-16 | 2009-12-16 | 表示制御装置、表示制御方法、プログラム |
Country Status (8)
Country | Link |
---|---|
US (1) | US9851894B2 (ja) |
EP (1) | EP2515531A4 (ja) |
JP (1) | JP5293587B2 (ja) |
KR (1) | KR20120102071A (ja) |
CN (1) | CN102656548A (ja) |
IN (1) | IN2012DN05086A (ja) |
TW (1) | TWI450180B (ja) |
WO (1) | WO2011074446A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6078943B2 (ja) | 2011-02-28 | 2017-02-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
JP2013092816A (ja) * | 2011-10-24 | 2013-05-16 | Brother Ind Ltd | 画像形成装置、画像形成装置の制御方法およびプログラム |
EP2613552A3 (en) * | 2011-11-17 | 2016-11-09 | Axell Corporation | Method for moving image reproduction processing and mobile information terminal using the method |
JP5957948B2 (ja) | 2012-02-24 | 2016-07-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
JP5631933B2 (ja) * | 2012-06-28 | 2014-11-26 | 株式会社日本製鋼所 | タッチパネルを備えた射出成形機 |
CN103544977B (zh) * | 2012-07-16 | 2016-07-20 | 三星电子(中国)研发中心 | 基于触摸控制的视频定位装置和方法 |
JP2014060566A (ja) * | 2012-09-18 | 2014-04-03 | Casio Comput Co Ltd | 画像配列決定方法、画像配列決定装置、及び、印刷装置、表示装置、プログラム記憶媒体 |
KR102032541B1 (ko) * | 2013-02-26 | 2019-11-08 | 삼성전자주식회사 | 이미지 촬영장치 및 방법 |
JP5825279B2 (ja) * | 2013-02-27 | 2015-12-02 | ブラザー工業株式会社 | 端末装置及びプログラム |
KR102031284B1 (ko) * | 2013-03-14 | 2019-11-08 | 삼성전자주식회사 | 연속 촬영된 이미지를 합성하는 전자 장치 및 방법 |
KR20150033162A (ko) * | 2013-09-23 | 2015-04-01 | 삼성전자주식회사 | 컴포지터, 이를 포함하는 시스템온칩 및 이의 구동 방법 |
CN103593155B (zh) * | 2013-11-06 | 2016-09-07 | 华为终端有限公司 | 显示帧生成方法和终端设备 |
KR102105171B1 (ko) * | 2013-11-21 | 2020-04-24 | 삼성전자주식회사 | 다중 영상 재생장치 및 재생방법 |
JP6332864B2 (ja) * | 2014-12-25 | 2018-05-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6098681B2 (ja) * | 2015-05-22 | 2017-03-22 | カシオ計算機株式会社 | 表示装置、表示方法及びプログラム |
TWI610292B (zh) * | 2015-11-19 | 2018-01-01 | 瑞鼎科技股份有限公司 | 驅動電路及其運作方法 |
CN105635837B (zh) * | 2015-12-30 | 2019-04-19 | 努比亚技术有限公司 | 一种视频播放方法和装置 |
CN111145308A (zh) * | 2019-12-06 | 2020-05-12 | 北京达佳互联信息技术有限公司 | 一种贴纸获取方法和装置 |
US12008839B2 (en) | 2021-05-28 | 2024-06-11 | Sportsbox.ai Inc. | Golf club and other object fitting using quantitative biomechanical-based analysis |
US11640725B2 (en) | 2021-05-28 | 2023-05-02 | Sportsbox.ai Inc. | Quantitative, biomechanical-based analysis with outcomes and context |
CN113473181B (zh) * | 2021-09-03 | 2021-12-31 | 北京市商汤科技开发有限公司 | 视频处理方法和装置、计算机可读存储介质及计算机设备 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3198980B2 (ja) * | 1996-10-22 | 2001-08-13 | 松下電器産業株式会社 | 画像表示装置及び動画像検索システム |
JP3603629B2 (ja) * | 1998-12-24 | 2004-12-22 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
JP3790126B2 (ja) * | 2001-05-30 | 2006-06-28 | 株式会社東芝 | 時空間領域情報処理方法及び時空間領域情報処理システム |
JP3929811B2 (ja) * | 2002-04-08 | 2007-06-13 | 株式会社インク | 画像合成装置及び画像合成方法 |
JP4068485B2 (ja) * | 2002-09-30 | 2008-03-26 | 株式会社東芝 | 画像合成方法、画像合成装置、画像合成プログラム |
US20050216839A1 (en) * | 2004-03-25 | 2005-09-29 | Keith Salvucci | Audio scrubbing |
JP4419903B2 (ja) * | 2005-04-15 | 2010-02-24 | ソニー株式会社 | 入力装置、入力方法および入力制御プログラム、ならびに、再生装置、再生制御方法および再生制御プログラム |
JP4760105B2 (ja) * | 2005-04-15 | 2011-08-31 | ソニー株式会社 | 再生装置、再生方法および再生プログラム |
TW200807325A (en) * | 2006-07-18 | 2008-02-01 | Care Telecom Inc I | Method and system for performing image processing via network environment |
US7954065B2 (en) | 2006-12-22 | 2011-05-31 | Apple Inc. | Two-dimensional timeline display of media items |
US7956847B2 (en) | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
CN201266371Y (zh) * | 2007-01-05 | 2009-07-01 | 苹果公司 | 手持移动通信装置 |
JP4971813B2 (ja) * | 2007-01-31 | 2012-07-11 | 日本放送協会 | 映像生成装置及び映像生成プログラム |
JP2009077363A (ja) * | 2007-08-24 | 2009-04-09 | Sony Corp | 画像処理装置、動画再生装置、これらにおける処理方法およびプログラム |
TWM337120U (en) * | 2008-01-08 | 2008-07-21 | Feeling Technology Corp | Digital equipment with selectable laminated electronic images |
KR101495170B1 (ko) * | 2008-07-22 | 2015-02-24 | 엘지전자 주식회사 | 이동단말기의 메뉴 표시방법 |
JP4591576B2 (ja) | 2008-08-18 | 2010-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN101441882B (zh) | 2008-12-26 | 2013-06-26 | 华为终端有限公司 | 多媒体播放控制方法和装置以及多媒体播放设备 |
JP6078943B2 (ja) | 2011-02-28 | 2017-02-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
JP5957948B2 (ja) | 2012-02-24 | 2016-07-27 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
-
2009
- 2009-12-16 JP JP2009284758A patent/JP5293587B2/ja active Active
-
2010
- 2010-12-02 TW TW099141960A patent/TWI450180B/zh not_active IP Right Cessation
- 2010-12-08 CN CN2010800563849A patent/CN102656548A/zh active Pending
- 2010-12-08 WO PCT/JP2010/071959 patent/WO2011074446A1/ja active Application Filing
- 2010-12-08 EP EP10837475.2A patent/EP2515531A4/en not_active Ceased
- 2010-12-08 US US13/514,330 patent/US9851894B2/en active Active
- 2010-12-08 KR KR1020127014824A patent/KR20120102071A/ko not_active Application Discontinuation
-
2012
- 2012-06-08 IN IN5086DEN2012 patent/IN2012DN05086A/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2011074446A1 (ja) | 2011-06-23 |
IN2012DN05086A (ja) | 2015-10-09 |
TWI450180B (zh) | 2014-08-21 |
US20120236027A1 (en) | 2012-09-20 |
US9851894B2 (en) | 2017-12-26 |
KR20120102071A (ko) | 2012-09-17 |
TW201207716A (en) | 2012-02-16 |
EP2515531A1 (en) | 2012-10-24 |
CN102656548A (zh) | 2012-09-05 |
EP2515531A4 (en) | 2017-06-07 |
JP2011130046A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293587B2 (ja) | 表示制御装置、表示制御方法、プログラム | |
US9817487B2 (en) | Rotation smoothing of a user interface | |
JP4591576B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4661866B2 (ja) | ゲーム装置において実行される表示制御プログラム | |
US9454834B2 (en) | Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device | |
JP5261217B2 (ja) | 表示装置および表示方法 | |
US20130117698A1 (en) | Display apparatus and method thereof | |
JP5295839B2 (ja) | 情報処理装置、フォーカス移動制御方法及びフォーカス移動制御プログラム | |
JP2007072564A (ja) | マルチメディア再生装置、メニュー操作受付方法およびコンピュータプログラム | |
JP2015508211A (ja) | カメラモジュールを通じてユーザの頭部を追跡することによりスクリーンを制御する方法及び装置、並びにそのコンピュータ可読記録媒体 | |
JP2010184009A (ja) | 決定装置、決定方法、ならびに、プログラム | |
JP5220157B2 (ja) | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 | |
JPWO2018173791A1 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2007322452A (ja) | 画像表示装置およびその方法、並びに、記憶媒体 | |
JP2011125417A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5093317B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
US20090080802A1 (en) | Information processing apparatus and method for generating composite image | |
JP7070547B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2011188315A (ja) | 画像再生装置及びプログラム | |
JP2001195609A (ja) | Cgの表示変化方法 | |
JP2004246877A (ja) | ゲームのキャラクタに画像を投影するプログラム、そのプログラムが組み込まれたゲーム機、及びそのプログラムが格納された記録媒体 | |
JP4944371B2 (ja) | 映像編集装置およびその方法 | |
WO2022013950A1 (ja) | 3次元動画像提供装置、3次元動画像提供方法およびプログラム | |
TW201303714A (zh) | 具有互動功能的頭戴式顯示裝置及顯示方法 | |
JP2010145596A (ja) | プロジェクター、プログラムおよび情報記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130527 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5293587 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |