JP5104709B2 - 情報処理装置、プログラム、および情報処理方法 - Google Patents
情報処理装置、プログラム、および情報処理方法 Download PDFInfo
- Publication number
- JP5104709B2 JP5104709B2 JP2008264564A JP2008264564A JP5104709B2 JP 5104709 B2 JP5104709 B2 JP 5104709B2 JP 2008264564 A JP2008264564 A JP 2008264564A JP 2008264564 A JP2008264564 A JP 2008264564A JP 5104709 B2 JP5104709 B2 JP 5104709B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- correction
- color
- music data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000012937 correction Methods 0.000 claims abstract description 40
- 238000003702 image correction Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims description 72
- 230000000694 effects Effects 0.000 description 213
- 239000012636 effector Substances 0.000 description 52
- 230000036651 mood Effects 0.000 description 45
- 230000008859 change Effects 0.000 description 43
- 238000000034 method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 35
- 238000010191 image analysis Methods 0.000 description 34
- 239000003086 colorant Substances 0.000 description 33
- 230000008569 process Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 14
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 241001342895 Chorus Species 0.000 description 7
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 7
- 230000012447 hatching Effects 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002040 relaxant effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000526960 Amaranthus acanthochiton Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101100328886 Caenorhabditis elegans col-2 gene Proteins 0.000 description 1
- 101100328884 Caenorhabditis elegans sqt-3 gene Proteins 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
- G03B31/06—Associated working of cameras or projectors with sound-recording or sound-reproducing means in which sound track is associated with successively-shown still pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
- H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- Digital Computer Display Output (AREA)
Description
(1)楽曲の進行や拍などの楽曲進行情報に基づいて写真画像の切替タイミングを調整する。
(2)特定の楽曲の再生に際し、当該楽曲に合うように写真画像の切替タイミングやフェードインおよびフェードアウトのパターンが設定されたテンプレートを用いる。
1.PCのハードウェア構成
2.PCの機能および動作の概略
3.再生区間の設定
4.レイアウトの決定
5.画像選択
6.エフェクト処理の概略
7.パラメータpについて
8.各エフェクトタイプの説明
[モノクローム]
[ノイズ]
[ポスタライゼーション]
[トーンエフェクト]
[カラーイミテーション]
9.エフェクトタイプの選択
10.スライドショーの実行
11.まとめ、および補足
本実施形態にかかるPC20は、楽曲データの再生と併せて、楽曲データに応じたエフェクトが施された写真画像を順次に切替えて表示することができる。このような本実施形態にかかるPC20の機能の説明に先立ち、まず、PC20のハードウェア構成について図1を参照して説明する。
次に、図2〜図4を参照し、本実施形態にかかるPC20の機能および動作について概略的に説明する。
「明るい」、「楽しい」、「悲しい」、「さわやか」、などの楽曲の印象、雰囲気、または気分が数値化された特徴量である。楽曲データを信号処理(音楽解析)することにより基本特徴量(例えば、テンポ、以下の楽曲進行情報など)を抽出し、基本特徴量を利用した機械学習および音楽推定により高次特徴量である当該ムード特徴量を抽出することができる。より詳細な解析方法については、例えば、特開2005−274708、特開2005−275068、特開2008−27538、および特開2008−65905などに記載されている。
Aメロ、Bメロ、サビ、エンディングなどの楽曲の構成要素が開始するタイミングを楽曲の先頭を基準に表す情報である。図3を参照し、より具体的に楽曲構成情報について説明する。
楽曲中の各拍子、小節、コード(Cメジャー、Aマイナーなど)が到来するタイミングを楽曲の先頭を基準に表す情報である。例えば、図3に示した例において、コードCに切替わる時間t11、コードGに切替わる時間12、コードAmに切替わる時間13、コードEmに切替わる時間14などが楽曲進行情報に該当する。なお、楽曲進行情報の解析方法は、例えば特開2007−183417に記載されているため、本願での詳細な説明は省略する。
楽曲のムードは、上記のムード特徴量に基づいてムード判定部224により判定される。ここで、ムード判定部224は、例えばPlayStation3(登録商標)で使用されている「おまかせチャンネル」のアルゴリズムを用いてムード判定を行なってもよい。また、楽曲のムードは、楽曲の雰囲気や、楽曲から想起される抽象的なテーマ(気候、場所、季節、気分、イベント)などを表してもよい。以下では、ムード判定部224が、楽曲のムードをEnergetic、Relaxing、Dramatic、Happy、またはElectronicのいずれかに判定するものとして説明する。なお、ムード判定部224は、楽曲が複数のムードに該当する場合、所定の優先順位にしたがって1のムードを採用してもよい。優先順位は、統計的に楽曲が該当し難いムードほど高くてもよく、例えば、Dramaticが最も低く、Relaxing、Energetic、Electronic、Happyの順に高くてもよい。
・コントラスト:ジャケット画像の全画素の輝度値の標準偏差。
・固有値、固有ベクトル:ジャケット画像の全画素を3D色空間(本実施形態においてはRGB空間)にプロットした集合を主成分分析して得られる固有ベクトルと固有値を、第一主成分、第二主成分、第三主成分の順に並べたもの。第一主成分の固有値・固有ベクトルを第一固有値・第一固有ベクトル、第二主成分の固有値・固有ベクトルを第二固有値・第二固有ベクトル、第三主成分の固有値・固有ベクトルを第三固有値・第三固有ベクトル、と称する。具体的には、集合を主成分分析するとRGB空間で3本の直行する直線が得られ、3本の直線のうちで長い直線から第一主成分、第二主成分、第三主成分に対応する。また、各直線の方向が固有ベクトルに対応し、各直線の長さが固有値に対応する。なお、ジャケット画像中の特異な色が分離可能な場合、この特異な色をポイント色として除外し、ポイント色が除外された色の集合に対して主成分分析を行なって固有値および固有ベクトルを得えることも可能である。
・色ヒストグラム:ジャケット画像を規定色数まで減色(本実施形態では32色)した際の、各色値とその含有量。
・輝度ヒストグラム:ジャケット画像をグレースケール化し、その画素値(つまり輝度値)を規定数(本実施形態では最大32色)のヒストグラムとしたもの。
・顔情報:顔認識技術によりジャケット画像から検出される情報であり、例えば、ジャケット画像に含まれる顔の数、各顔の位置、大きさ、および傾きなどがあげられる。
・ポイント色:ジャケット画像を構成する色の中で特異な色。例えばモノクロ背景の一部のみに赤色の物体が含まれるジャケット画像においては、その物体の赤色の色値。
・フォント:ジャケット画像に文字が含まれている場合、その文字のフォントと文字色。
・ノイズ:写真画像にモノクロームと同様の処理を施した後、ノイズを付加し、さらにコントラストを強調する。なお、モノクロームエフェクト実行やコントラスト強調の度合いは、ジャケット画像の画像解析情報に基づいて決定される。
・ポスタライゼーション:写真画像を少ない数の色(例えば3色)で表現する。使用する色はジャケット画像の画像解析情報に基づいて決定される。
・トーンエフェクト:写真画像の色分布を、ジャケット画像の画像解析情報に応じた方向へ全体的に移動させる。
・カラーイミテーション:写真画像の色分布を、ジャケット画像に含まれる色成分が強調されるように加工する。
楽曲データの再生区間は、楽曲データの全体(フル再生)、または楽曲データのハイライト部分(ダイジェスト再生)のいずれかから選択可能である。楽曲データの全体、または楽曲データのハイライト部分のいずれを再生区間とするかは、操作部264を介してユーザにより選択されても、PC20に事前に設定されていてもよい。楽曲データのハイライト部分は、レイアウト制御部236が例えば図5に示す処理により設定することができる。
レイアウト制御部236は、設定した楽曲データの再生区間を、例えば以下に示す方法により複数の画像表示枠に区切る。
例えば10秒などの一定時間で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。この方法では楽曲特徴量が特に利用されない。
一定の小節数で画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれる小節の切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。一般的に、4拍子の楽曲では4小節、または8小節ごとに曲調が変化する傾向があるので、レイアウト制御部236は、例えば4小節、または8小節ごとに再生区間を区切ってもよい。
コード進行の変化に同期して画像が切替わるように楽曲データの再生区間を区切るレイアウト方法である。レイアウト制御部236は、楽曲進行情報に含まれるコードの切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。例えば、コードがCメジャーからAマイナーに再生区間の先頭から1000ミリ秒後に切替わる場合、レイアウト制御部236は、再生区間の先頭から1000ミリ秒後で再生区間を区切ってもよい。時間固定や小節区切りの場合には一定の間隔で再生区間が区切られるため、スライドショーにおいて画像が一定の周期で切替えられる。これに対し、コード区切りの場合には不定の間隔(1小節、2小節、1小節と2拍など)で再生区間が区切られるため、スライドショーにおける画像の切替周期が一定とならず、より楽曲の流れに合ったスライドショーを実現できる。
楽曲のムードに応じた規則に従って楽曲データの再生区間を区切るレイアウト方法である。楽曲のムードは、楽曲特徴量に基づいてムード判定部224により判定される。当該事項について図6および図7を参照して後述する。
楽曲のムード 動きパターン
Energetic 大きな動き・速い動きを有するパターン
Relaxing 小さな動き・遅い動きを有するパターン
Electronic 直線的な動きを有するパターン
写真画像の内容 動きパターン
人物を含む 顔をズームインまたはズームアウトするパターン
縦撮り・横撮り 写真端が表示エリアを出ないようズームおよび回転を設定
本実施形態によれば、ジャケット画像に応じたエフェクトを写真画像に施すため、再生対象の音楽データのジャケット画像の雰囲気にどの写真画像でも合わせることができる。このため、画像選択部240は、レイアウト制御部236により決定された枚数の写真画像を記憶部220に記憶されている写真画像からランダムに選択してもよい。かかる構成によれば、記憶部220に記憶されている写真画像の同頻度での出現が期待されるため、普段ユーザが意図的に選択しない写真画像をユーザに提示する機会が得られる。
楽曲のムード 選択される写真画像
Relaxing 緑・青の多い写真画像
Happy 笑顔が写っている写真画像
Electronic 人物を含まない写真画像
エフェクトタイプ 選択される写真画像
ノイズ 古い写真
ポスタライゼーション 人物を含まない写真画像
カラーイミテーション ジャケット画像の色味と近い画像
楽曲データの付加情報 選択される写真画像
リリース時期 リリース時期と同時期の写真画像
楽曲タイトル 楽曲タイトルに含まれるキーワードを有する写真画像
次に、図11〜図13を参照し、本実施形態にかかるエフェクト処理を実現するための流れの要旨を説明する。なお、以下では、ジャケット画像を一般化して参照画像と称し、写真画像を一般化して入力画像と称する。
さらに、参照画像の画像解析情報を利用し、参照画像のような雰囲気を出すためのエフェクト内容を決定する。なお、当該エフェクト内容の決定は図2に示したエフェクト制御部252により行なわれる。
パラメータpは、ミキサ・エフェクト回路248によるエフェクト内容に影響を与える1次元の数値であり、0.0〜1.0の間の値をとる。本実施形態にかかる各エフェクトの処理内容へパラメータpが与える影響の説明に先立ち、簡易なエフェクトを例にあげてパラメータpの変化に伴うエフェクト内容の変化について説明する。
・エフェクト深度
写真画像に施すエフェクト処理の程度。例えば、パラメータp=0.0の場合にはエフェクト処理の前後の写真画像に変化がなく、パラメータp=1.0の場合には写真画像に最も高い程度のエフェクト処理が施される。また、0.0<パラメータp<1.0の場合には、写真画像にパラメータpの値に応じた程度のエフェクト処理が施される。
・輝度
写真画像に対して施す輝度変化の程度。例えば、パラメータp<0.5の場合にはパラメータpの値に応じて写真画像を暗くする処理が付加され、パラメータp>0.5の場合にはパラメータpの値に応じて写真画像を明るくする処理が付加される。
・各エフェクト依存の変化
各エフェクトにおいて、処理内容に影響を与える数値にパラメータpを割当てる。この場合、パラメータpによる処理内容の変化がエフェクト処理ごとに異なる。
続いて、本実施形態において利用されるモノクローム、ノイズ、ポスタライゼーション、トーンエフェクト、およびカラーイミテーションの各々について図16〜図19を参照して詳細に説明する。
モノクロームエフェクターは、写真画像を2つの色の線形和で表現される色のみからなるように加工する。2つの色の線形和で表現される色のみからなる画像には、例えばグレー画像やセピア色の画像などが該当する。このモノクロームエフェクターは、画像解析情報に含まれるRGB空間における第一固有ベクトルと平均色の情報を用いる。
ノイズエフェクターは、モノクロームエフェクターと同様の処理を施した後にノイズを付加し、さらにその後にコントラストを強調する。このノイズエフェクターは、ジャケット画像の画像解析情報に含まれる第一固有ベクトルと平均色、およびコントラストの情報を用いる。すなわち、第一固有ベクトルと平均色の情報を用い、モノクロームエフェクターと同様の処理を行なった後、コントラスト値に応じたコントラストの強調を行う。
・点ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させる。
・粒子ノイズ
写真画像中のいくつかの画素値をランダムな値だけ増減させ、かつ周囲の画素値も増減させる。例えば、図16に示したように画素Cの画素値をx増加させた場合、画素Cの上下左右の画素値をx/2、画素Cの左上、右上、左下、および右下の画素値をx/3増加させる。
・スクラッチノイズ
写真画像中のいくつかの画素をノイズ開始点に設定する。そして、図17に示したように、ノイズ開始点におけるノイズ値を0とし、水平方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返し、ノイズ値が0になった場合に終了する。なお、ノイズ値の絶対値は事前に設定されている閾値を上回らないよう制御される。また、ノイズ開始点におけるノイズ値を0とし、垂直方向に画素が1つ進むにつれ、ノイズ値をランダムに増減させることを繰り返すことにより、垂直方向にも同様のスクラッチノイズを付加することが可能である。
ポスタライゼーションエフェクターは、写真画像を、2または3色などの少ない数の色(本実施形態では最大3色)で表現する。このポスタライゼーションエフェクターは、まず、ジャケット画像の画像解析情報に含まれる色ヒストグラムの情報を参照し、色ヒストグラムから最大3色をランダムで選択する。
トーンエフェクターは、ジャケット画像の画像解析情報に含まれる平均色の情報を用いて、写真画像の色分布を全体的にある方向へ移動させる。具体的には、トーンエフェクターは、写真画像の平均色を求め、(ジャケット画像の平均色―入力画像の平均色)の計算により差ベクトルdiffvecを求める。ここで、cを写真画像のある画素の色値、当該画素のエフェクト処理後の色値、gを当該画素をグレー変換した色値とすると、当該画素のエフェクト処理後の色値c’を以下の数式3により求めることができる。なお、数式3ではある画素の色値cとグレー変換した色値gの加算値を2で除算することにより彩度を半減させているが、他の方法で彩度を下げてもよい。
カラーイミテーションエフェクターは、写真画像の色分布のうちで、ジャケット画像に含まれる色成分が強調されるよう処理する。このカラーイミテーションエフェクターは、画像解析情報に含まれる色ヒストグラムの情報を用いる。
以上説明したように、各エフェクト処理の実行にはジャケット画像の画像解析情報が利用されるため、エフェクト処理された写真画像にはジャケット画像の雰囲気が少なからず反映される。さらに、本実施形態では、より一層エフェクト処理された写真画像の雰囲気をジャケット画像の雰囲気に合わせるために、エフェクトタイプ選択部232がジャケット画像に適したエフェクトタイプを選択する。以下、エフェクトタイプ選択部232による各ジャケット写真のエフェクトタイプの選択について、図20〜図25を参照して説明する。
次に、図32〜図36を参照し、スライドショーにより映像出力部260に表示される表示画面について説明する。
以上説明したように、本実施形態によれば、楽曲付きのスライドショーの実行時に、ユーザの写真画像を再生対象の楽曲データのジャケット画像に応じたエフェクト処理を施して表示することができる。また、本実施形態によれば、楽曲データの再生時間と関連付けてパラメータpの値を変化させることにより、アニメーションのように表現される写真画像を得ることができる。
220 記憶部
224 ムード判定部
228 ジャケット解析部
232 エフェクトタイプ選択部
236 レイアウト制御部
240 画像選択部
248 ミキサ・エフェクト回路
252 エフェクト制御部
260 映像出力部
272 フォント選択部
Claims (10)
- 楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
1または2以上の画像を記憶している記憶部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択する選択部と;
前記記憶部に記憶されている画像を前記選択部により選択された補正タイプで前記画像補正部に画像補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
を備える、情報処理装置。 - 前記画像補正部により補正された画像と前記関連画像を含み前記出力部により出力される表示画面、を生成する生成部をさらに備える、請求項1に記載の情報処理装置。
- 前記補正制御部は、前記選択部により選択された補正タイプでの前記画像補正部による画像補正の内容を、時間の経過に応じて変化させる、請求項2に記載の情報処理装置。
- 前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
- 前記記憶部に記憶されている前記1または2以上の画像から、前記関連画像の特徴に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
- 前記記憶部に記憶されている前記1または2以上の画像から、前記楽曲データの付加情報に応じて前記画像補正部による画像補正の対象画像を選択する選択部をさらに備える、請求項3に記載の情報処理装置。
- 前記解析部は、さらに前記関連画像内に含まれる文字のフォントを解析し、
前記表示画面は、前記解析部により解析されたフォントと一致または近似するフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。 - 前記表示画面は、前記楽曲データの特徴に応じたフォントで表現された前記関連画像の付加情報をさらに含む、請求項2に記載の情報処理装置。
- コンピュータを、
楽曲データを再生する再生部と;
前記楽曲データの関連画像の特徴を解析する解析部と;
複数の補正タイプのいずれかで画像補正を行なう画像補正部と;
前記解析部により解析された前記関連画像の特徴に応じた補正タイプを前記複数の補正タイプから選択する選択部と;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで前記画像補正部に補正させる補正制御部と;
前記画像補正部により補正された画像を出力する出力部と;
として機能させるための、プログラム。 - 楽曲データを再生する再生ステップと;
前記楽曲データの関連画像の特徴を解析するステップと;
前記関連画像の特徴に応じた補正タイプを複数の補正タイプから選択するステップと;
記憶媒体に記憶されている1または2以上の画像を前記選択部により選択された補正タイプで補正するステップと;
補正された画像を出力するステップと;
を含む、情報処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264564A JP5104709B2 (ja) | 2008-10-10 | 2008-10-10 | 情報処理装置、プログラム、および情報処理方法 |
US12/557,858 US8891909B2 (en) | 2008-10-10 | 2009-09-11 | Information processing apparatus capable of modifying images based on audio data, program and information processing method |
CN200910179364XA CN101727476B (zh) | 2008-10-10 | 2009-10-10 | 信息处理装置 |
US14/478,606 US9841665B2 (en) | 2008-10-10 | 2014-09-05 | Information processing apparatus and information processing method to modify an image based on audio data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008264564A JP5104709B2 (ja) | 2008-10-10 | 2008-10-10 | 情報処理装置、プログラム、および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010093741A JP2010093741A (ja) | 2010-04-22 |
JP5104709B2 true JP5104709B2 (ja) | 2012-12-19 |
Family
ID=42098921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008264564A Expired - Fee Related JP5104709B2 (ja) | 2008-10-10 | 2008-10-10 | 情報処理装置、プログラム、および情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US8891909B2 (ja) |
JP (1) | JP5104709B2 (ja) |
CN (1) | CN101727476B (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9144204B2 (en) | 2006-06-20 | 2015-09-29 | Rain Bird Corporation | User interface for a sensor-based interface device for interrupting an irrigation controller |
WO2007149949A1 (en) | 2006-06-20 | 2007-12-27 | Rain Bird Corporation | Sensor device for interrupting irrigation |
JP5104709B2 (ja) * | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
JP5471072B2 (ja) * | 2009-06-26 | 2014-04-16 | 富士通株式会社 | 表示テスト装置、表示テストプログラムおよび表示テスト方法 |
KR101674682B1 (ko) * | 2009-11-17 | 2016-11-09 | 엘지전자 주식회사 | 네트워크 tv의 메뉴 제공 방법 |
US20120308196A1 (en) * | 2009-11-25 | 2012-12-06 | Thomas Bowman | System and method for uploading and downloading a video file and synchronizing videos with an audio file |
JP2012049837A (ja) * | 2010-08-27 | 2012-03-08 | Casio Comput Co Ltd | 画像表示装置 |
JP5750253B2 (ja) * | 2010-09-28 | 2015-07-15 | 任天堂株式会社 | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 |
JP2012093919A (ja) * | 2010-10-26 | 2012-05-17 | Toshiba Corp | 電子機器、合成画像の出力方法 |
CN102055845A (zh) * | 2010-11-30 | 2011-05-11 | 深圳市五巨科技有限公司 | 移动通信终端及其音乐播放器图片切换方法 |
JP5595257B2 (ja) * | 2010-12-24 | 2014-09-24 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
JP5484310B2 (ja) | 2010-12-24 | 2014-05-07 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法 |
WO2015001384A1 (en) * | 2013-07-02 | 2015-01-08 | Sony Corporation | Smart feeling sensing tag for pictures |
KR20150024650A (ko) * | 2013-08-27 | 2015-03-09 | 삼성전자주식회사 | 전자 장치에서 사운드를 시각적으로 제공하기 위한 방법 및 장치 |
US9565416B1 (en) | 2013-09-30 | 2017-02-07 | Google Inc. | Depth-assisted focus in multi-camera systems |
US9524084B2 (en) * | 2013-11-26 | 2016-12-20 | Google Inc. | Presenting images of multiple media entities |
US9154697B2 (en) * | 2013-12-06 | 2015-10-06 | Google Inc. | Camera selection based on occlusion of field of view |
CN106462935B (zh) * | 2014-05-19 | 2020-08-18 | 索尼公司 | 图像处理装置、图像处理方法和计算机可读存储介质 |
USD757107S1 (en) * | 2014-05-30 | 2016-05-24 | Microsoft Corporation | Display screen or portion thereof with graphical user interface |
US9336760B2 (en) * | 2014-08-01 | 2016-05-10 | Rajinder Singh | Generating music from image pixels |
CN107409193A (zh) * | 2014-12-15 | 2017-11-28 | 索尼公司 | 信息处理方法、影像处理装置和程序 |
WO2016143907A1 (ja) * | 2015-03-12 | 2016-09-15 | 株式会社Six | 楽曲再生システム、データ出力装置、及び楽曲再生方法 |
US10515615B2 (en) * | 2015-08-20 | 2019-12-24 | Roy ELKINS | Systems and methods for visual image audio composition based on user input |
CN105245936A (zh) * | 2015-09-30 | 2016-01-13 | 天脉聚源(北京)科技有限公司 | 控制头像动画效果的方法和装置 |
US10757873B2 (en) | 2017-04-24 | 2020-09-01 | Rain Bird Corporation | Sensor-based interruption of an irrigation controller |
US10444769B2 (en) | 2017-04-24 | 2019-10-15 | Rain Bird Corporation | Sensor-based interruption of an irrigation controller |
WO2019133273A1 (en) | 2017-12-29 | 2019-07-04 | Rain Bird Corporation | Weather override irrigation control systems and methods |
CN109118507B (zh) * | 2018-08-27 | 2019-09-13 | 嵊州市万睿科技有限公司 | 外壳承受气压实时报警系统 |
US11094099B1 (en) * | 2018-11-08 | 2021-08-17 | Trioscope Studios, LLC | Enhanced hybrid animation |
CN109862393B (zh) * | 2019-03-20 | 2022-06-14 | 深圳前海微众银行股份有限公司 | 视频文件的配乐方法、系统、设备及存储介质 |
CN113034631B (zh) * | 2019-12-24 | 2024-06-28 | 花瓣云科技有限公司 | 主题图标的生成方法及其装置、计算机设备 |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2895932B2 (ja) * | 1990-08-21 | 1999-05-31 | 株式会社リコス | アニメーション合成表示装置 |
JPH0535288A (ja) * | 1991-07-31 | 1993-02-12 | Ricos:Kk | カラオケ再生装置 |
KR0165264B1 (en) * | 1993-03-08 | 1999-03-20 | Samsung Electronics Co Ltd | Television receiver having music room function |
JP3248792B2 (ja) * | 1993-08-26 | 2002-01-21 | ヤマハ株式会社 | カラオケネットワークシステムおよびカラオケ端末装置 |
US5617385A (en) * | 1994-06-21 | 1997-04-01 | Samsung Electronics Co., Ltd. | Compact disk and high-speed search method thereof and recording method appropriate therefor |
KR0135839B1 (ko) * | 1994-08-30 | 1998-05-15 | 김광호 | 영상노래반주용 기록매체 및 재생장치 |
KR0176496B1 (ko) * | 1994-12-28 | 1999-04-15 | 윤종용 | 컴팩트 디스크 영상 노래 반주 재생장치 및 제어방법 |
CA2214161C (en) * | 1996-08-30 | 2001-05-29 | Daiichi Kosho, Co., Ltd. | Karaoke playback apparatus utilizing digital multi-channel broadcasting |
US6077084A (en) * | 1997-04-01 | 2000-06-20 | Daiichi Kosho, Co., Ltd. | Karaoke system and contents storage medium therefor |
US6288990B1 (en) * | 1997-10-21 | 2001-09-11 | Sony Corporation | Reproducing apparatus, recording apparatus, and recording medium |
JP3384314B2 (ja) * | 1997-12-02 | 2003-03-10 | ヤマハ株式会社 | 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体 |
CN1196130C (zh) * | 1999-05-28 | 2005-04-06 | 松下电器产业株式会社 | 半导体存储器卡、重放装置、记录装置、重放方法、记录方法、和计算机可读存储介质 |
JP4478389B2 (ja) * | 2000-12-12 | 2010-06-09 | ソニー株式会社 | 記録再生装置および方法、ならびに記憶媒体 |
JP4402850B2 (ja) * | 2001-03-16 | 2010-01-20 | 富士フイルム株式会社 | 鑑賞用データ補正方法および装置並びに記録媒体 |
US6537078B2 (en) * | 2001-08-02 | 2003-03-25 | Charles Jean | System and apparatus for a karaoke entertainment center |
WO2003017145A1 (en) * | 2001-08-21 | 2003-02-27 | Yesvideo, Inc. | Creation of slideshow based on characteristic of audio content used to produce accompanying audio display |
JP2003242163A (ja) * | 2002-02-19 | 2003-08-29 | Canon Inc | 画像記録装置、情報処理装置、情報処理方法及びプログラム |
US7478323B2 (en) * | 2004-10-25 | 2009-01-13 | Apple Inc. | Automated creation of media asset illustration collage |
US20040095379A1 (en) * | 2002-11-15 | 2004-05-20 | Chirico Chang | Method of creating background music for slideshow-type presentation |
US7394969B2 (en) * | 2002-12-11 | 2008-07-01 | Eastman Kodak Company | System and method to compose a slide show |
US7469064B2 (en) * | 2003-07-11 | 2008-12-23 | Panasonic Corporation | Image display apparatus |
WO2005027092A1 (ja) * | 2003-09-08 | 2005-03-24 | Nec Corporation | 文書作成閲覧方法、文書作成閲覧装置、文書作成閲覧ロボットおよび文書作成閲覧プログラム |
JP4199097B2 (ja) * | 2003-11-21 | 2008-12-17 | パイオニア株式会社 | 楽曲自動分類装置及び方法 |
US7707039B2 (en) * | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
JP5082184B2 (ja) * | 2004-05-19 | 2012-11-28 | ソニー株式会社 | 画像データ処理装置、画像データ処理方法及び画像データ処理プログラム |
JP4274087B2 (ja) * | 2004-09-14 | 2009-06-03 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2006101362A (ja) * | 2004-09-30 | 2006-04-13 | Matsushita Electric Ind Co Ltd | 動画生成装置及びその方法 |
JP4284619B2 (ja) | 2004-12-09 | 2009-06-24 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4284620B2 (ja) * | 2004-12-27 | 2009-06-24 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7593950B2 (en) * | 2005-03-30 | 2009-09-22 | Microsoft Corporation | Album art on devices with rules management |
JP4595704B2 (ja) * | 2005-06-22 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置、撮像装置、およびプログラム |
JP4687297B2 (ja) * | 2005-07-15 | 2011-05-25 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
KR101406843B1 (ko) * | 2006-03-17 | 2014-06-13 | 한국과학기술원 | 멀티미디어 컨텐츠 부호화방법 및 장치와, 부호화된멀티미디어 컨텐츠 응용방법 및 시스템 |
JP4622808B2 (ja) * | 2005-10-28 | 2011-02-02 | 日本ビクター株式会社 | 楽曲分類装置、楽曲分類方法、楽曲分類プログラム |
US7561722B2 (en) * | 2005-12-14 | 2009-07-14 | Xerox Corporation | System and method for interactive document layout |
US7761789B2 (en) * | 2006-01-13 | 2010-07-20 | Ricoh Company, Ltd. | Methods for computing a navigation path |
JP2007208459A (ja) * | 2006-01-31 | 2007-08-16 | Fujifilm Corp | 音楽付きスライドショー自動生成装置及びプログラム |
JP5170961B2 (ja) * | 2006-02-01 | 2013-03-27 | ソニー株式会社 | 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体 |
JP2007243411A (ja) * | 2006-03-07 | 2007-09-20 | Fujifilm Corp | 画像処理装置、方法およびプログラム |
US20070261534A1 (en) * | 2006-04-26 | 2007-11-15 | Cellular Records | Method and system for combining news and music |
US20070287141A1 (en) * | 2006-05-11 | 2007-12-13 | Duane Milner | Internet based client server to provide multi-user interactive online Karaoke singing |
JP4962067B2 (ja) * | 2006-09-20 | 2012-06-27 | 株式会社Jvcケンウッド | 楽曲再生装置、楽曲再生方法、および楽曲再生プログラム |
US20080104516A1 (en) * | 2006-10-25 | 2008-05-01 | Ulead Systems, Inc. | System and method for editing slideshow |
JP2008159151A (ja) * | 2006-12-22 | 2008-07-10 | Toshiba Corp | 光ディスク装置及び光ディスク処理方法 |
US7685163B2 (en) * | 2007-01-07 | 2010-03-23 | Apple Inc. | Automated creation of media asset illustrations |
JP4353259B2 (ja) * | 2007-02-22 | 2009-10-28 | ソニー株式会社 | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
TW200839556A (en) * | 2007-03-22 | 2008-10-01 | Univ Nat Taiwan | A photo display system and its operating method |
US20080274687A1 (en) * | 2007-05-02 | 2008-11-06 | Roberts Dale T | Dynamic mixed media package |
JP4424389B2 (ja) * | 2007-08-24 | 2010-03-03 | ソニー株式会社 | 動画作成装置、動画作成方法、およびプログラム |
JP4811433B2 (ja) * | 2007-09-05 | 2011-11-09 | ソニー株式会社 | 画像選択装置、画像選択方法、およびプログラム |
US7904485B2 (en) * | 2007-09-06 | 2011-03-08 | Apple Inc. | Graphical representation of assets stored on a portable media device |
JP2009080580A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
JP2009118117A (ja) * | 2007-11-06 | 2009-05-28 | Io Style Kk | スライドショー作成システム及びスライドショー作成方法並びにスライドショー作成プログラム |
JP4548495B2 (ja) * | 2008-02-22 | 2010-09-22 | ソニー株式会社 | 情報処理置および方法、並びにプログラム |
KR101460612B1 (ko) * | 2008-10-10 | 2014-11-13 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체 |
JP5104709B2 (ja) * | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
JP2012512424A (ja) * | 2008-12-15 | 2012-05-31 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声合成のための方法および装置 |
US8626236B2 (en) * | 2010-10-08 | 2014-01-07 | Blackberry Limited | System and method for displaying text in augmented reality |
US8855798B2 (en) * | 2012-01-06 | 2014-10-07 | Gracenote, Inc. | User interface to media files |
-
2008
- 2008-10-10 JP JP2008264564A patent/JP5104709B2/ja not_active Expired - Fee Related
-
2009
- 2009-09-11 US US12/557,858 patent/US8891909B2/en not_active Expired - Fee Related
- 2009-10-10 CN CN200910179364XA patent/CN101727476B/zh not_active Expired - Fee Related
-
2014
- 2014-09-05 US US14/478,606 patent/US9841665B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101727476B (zh) | 2013-06-05 |
US20100092107A1 (en) | 2010-04-15 |
CN101727476A (zh) | 2010-06-09 |
US9841665B2 (en) | 2017-12-12 |
US20140376888A1 (en) | 2014-12-25 |
US8891909B2 (en) | 2014-11-18 |
JP2010093741A (ja) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5104709B2 (ja) | 情報処理装置、プログラム、および情報処理方法 | |
JP4811433B2 (ja) | 画像選択装置、画像選択方法、およびプログラム | |
US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
US7362946B1 (en) | Automated visual image editing system | |
US8006186B2 (en) | System and method for media production | |
JP3578464B2 (ja) | 自動作曲方法 | |
US8872850B2 (en) | Juxtaposing still and dynamic imagery for cliplet creation | |
US9986218B2 (en) | Electronic apparatus, method of changing a moving image data section, and program | |
US20080120550A1 (en) | Example based video editing | |
EP2966645B1 (en) | Method, apparatus and computer program product for editing media content | |
JP2009004999A (ja) | 映像データ管理装置 | |
JP5556194B2 (ja) | 表示制御装置及び表示制御プログラム | |
US20170061642A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2007079736A (ja) | データ編集装置、データ編集方法およびデータ編集プログラム | |
JP2009055528A (ja) | コンテンツ処理装置 | |
JP2009117927A (ja) | 情報処理装置、情報処理方法、およびコンピュータプログラム | |
JP5551403B2 (ja) | 動画作成装置、コンピュータプログラム及び記憶媒体 | |
JP2011181103A (ja) | 表示制御装置、表示制御方法およびプログラム | |
JP4375286B2 (ja) | 映像表示方法及び映像表示装置 | |
JP2011160032A (ja) | 画像再生システム | |
JP4204447B2 (ja) | 映像編集装置、映像編集方法、プログラム、および、記録媒体 | |
AU2521400A (en) | Automated visual image editing system | |
JP2005117438A (ja) | 多重フレーム構造を有する装飾画像 | |
Droblas et al. | ADOBE PREMIERE PRO CS3 BIBLE (With CD) | |
JP5967986B2 (ja) | 画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110905 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120917 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5104709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151012 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |