JP5686673B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP5686673B2 JP5686673B2 JP2011126399A JP2011126399A JP5686673B2 JP 5686673 B2 JP5686673 B2 JP 5686673B2 JP 2011126399 A JP2011126399 A JP 2011126399A JP 2011126399 A JP2011126399 A JP 2011126399A JP 5686673 B2 JP5686673 B2 JP 5686673B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- images
- processing apparatus
- layout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000004458 analytical method Methods 0.000 claims description 68
- 238000000605 extraction Methods 0.000 claims description 57
- 238000010191 image analysis Methods 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 2
- 239000000463 material Substances 0.000 description 10
- 241000283973 Oryctolagus cuniculus Species 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Description
動画像および静止画像のデータが入力される画像データ入力部と、
前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピング部と、
前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定部と、
前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置部と、を有することを特徴とする画像処理装置を提供する。
さらに、前記関連性情報は、前記動画像の前記解析情報と前記静止画像の前記解析情報とを比較した情報であることが好ましい。
また、前記関連性情報は、前記解析情報であることが好ましい。
また、前記関連性情報は、さらに、前記動画像と前記静止画像のそれぞれの前記解析情報に重み付けを行って算出した代表値を含み、該代表値を比較することで前記フレーム画像と前記静止画像との関連性の有無を判定するものであることが好ましい。
さらに、前記レイアウト決定部は、前記静止画像の周りに前記フレーム画像を時系列に並べるレイアウトに決定することが好ましい。
さらに、前記レイアウト決定部は、奥行きのある前記静止画像または前記フレーム画像の周りに、消失点または画像の方向性に基づいて、他の前記静止画像または前記フレーム画像を並べるレイアウトに決定することが好ましい。
また、前記フレーム画像抽出部は、前記解析情報の被写体の顔の向きおよび前記関連性情報に基づいて、顔の向きの変化がわかる前記フレーム画像を複数枚抽出し、
前記レイアウト決定部は、抽出した顔の向きの変化がわかる複数枚の前記フレーム画像を一定方向に並べるレイアウトに決定することが好ましい。
さらに、前記レイアウト決定部は、前記主要被写体の顔方向の一定スペースに、他の前記静止画像および前記フレーム画像を配置しないレイアウトに決定することが好ましい。
前記レイアウト決定部は、抽出した複数枚の前記フレーム画像を時系列に並べて動きを表現するレイアウトに決定することが好ましい。
また、前記フレーム画像抽出部は、複数枚の前記フレーム画像を抽出し、抽出した複数枚の前記フレーム画像内のうちの基準となるフレーム画像と、該基準となるフレーム画像に類似するフレーム画像とを合成したフレーム画像を生成することが好ましい。
また、前記レイアウトは、さらに背景テンプレートを含み、
前記レイアウト決定部は、主要画像となる前記静止画像または前記フレーム画像の色情報を基にして、前記背景テンプレートを決定することが好ましい。
また、前記レイアウト決定部は、ユーザにより所定のページの再構成指示が入力されたとき、該所定のページ内のレイアウトを前記再構成指示に従って再構成することが好ましい。
前記配置の結果を表示する表示部と、を有することが好ましい。
さらに、前記グループは複数のグループであり、前記フレーム画像の抽出時に前記複数のグループの抽出結果が同時に前記表示部に表示されることが好ましい。
前記配置のデータを印刷する印刷装置とを有するプリント作製システムを提供する。
前記配置のデータを印刷する印刷装置と、
印刷された用紙を製本する製本装置とを有するフォトブック作製システムを提供する。
画像データ入力部が、動画像および静止画像のデータを入力する画像データ入力ステップと、
画像グルーピング部が、前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピングステップと、
画像解析部が、前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析ステップと、
フレーム画像抽出部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出ステップと、
レイアウト決定部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定ステップと、
画像配置部が、前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置ステップと、を有することを特徴とする画像処理方法を提供する。
図1は、本発明に係るグループ分けおよびフレーム画像抽出の概念を説明する説明図である。まず、図1(a)に示すように、動画像と静止画像が混在した画像データが入力されると、図1(b)に示すように、動画像および静止画像について撮影時間を基に、つまり、イベントごとに分類してグループ分けを行う。次に、各グループごとに動画像および静止画像を分析し、動画像と静止画像とを解析して得られた解析情報、および、動画像と静止画像の関連性の情報を求める。続いて、解析情報および関連性情報の少なくとも一方に基づいて、各々の動画像から抽出するフレーム画像の枚数を決定し、決定した枚数のフレーム画像を抽出する。例えば、図1(c)に示す例では、第1グループに分類された動画像からはフレーム画像が3枚抽出され、第2グループに分類された動画像からはフレーム画像が2枚抽出されている。このように、解析情報および関連性情報の少なくとも一方に基づいてフレーム画像を抽出することで、適切なフレーム画像が抽出される。
図2に示す画像処理装置10は、画像データ入力部12、画像表示部14、操作部16、画像記録部18、画像グルーピング部19、画像処理部20、レイアウト決定部26、および画像配置部28によって構成され、バス30で接続されている。また、画像処理部20は、画像解析部22、およびフレーム画像抽出部24によって構成される。なお、本実施形態では一例として、フォトブックを作製する場合について説明する。
まず、画像データ入力部12から、素材となる動画像および静止画像のデータ(動画像/静止画像データ)が入力される(ステップS10)。入力された動画像/静止画像データは素材画像データとして、一旦画像記録部18に記録される。
例えば、図4(a)に示すように、撮影日時によってグループ分けされる場合、第1グループには、2月11日の10:00〜12:00の間に撮影された動画像1本と静止画像6枚、第2グループには、同日の12:00〜15:00の間に撮影された静止画像2枚と動画像1本、第3グループには、同日の15:00〜17:00の間に撮影された動画像1本、第4グループには、同日の17:00〜24:00の間に撮影された静止画像2枚、第5グループには、翌日に撮影された静止画像3枚が、それぞれ分類される。
ここで、図4(a)の例では、第1および第2グループは動画像と静止画像が混在し(ステップS14で“混在”)、第3グループは動画像のみであり(ステップS14で“動画像のみ”)、第4および第5グループは静止画像のみであり(ステップS14で“静止画像のみ”)、それぞれ分岐して対応した処理が行われる。
続いて、フレーム画像抽出部24により、フレーム画像の最大抽出枚数を超えない範囲で、解析情報および関連性情報の少なくとも一方に基づき、各々の動画像からフレーム画像を抽出する枚数が決定され、決定された枚数のフレーム画像が抽出される。なお、同一のグループ(イベント)に含まれる静止画像と動画像とは同じ場面を撮影している可能性が高く、フレーム画像は静止画像となるべく被写体の向き、場面、および構図等が異なるものを抽出することが好ましい。
例えば、図6の第3グループのように、グループ内に含まれる1つの動画像から1枚のフレーム画像だけを抽出すると、図39に示すように、1枚のフレーム画像をページの中央に拡大して配置したレイアウトになる。この場合、高解像度の動画像から抽出したフレーム画像であれば問題はないが、携帯電話のカメラ機能等により撮影した低解像度の動画像から抽出したフレーム画像の場合には、プリント時の画質が悪くなる。そこで、動画像の解像度が所定の解像度よりも低く、かつ、グループ内の静止画像およびフレーム画像の合計枚数が所定の枚数よりも少ない場合には、プリント時の画質を考慮して、動画像から抽出するフレーム画像の枚数を増やして、1画像の表示サイズが所定の大きさ以上にならないように調整することが望ましい。例えば、図40に示すように、フレーム画像の枚数を4枚に増やすと、1画像の表示サイズが縮小され、プリント時の画質が向上される。
例えば、動画像に多くの人物が撮影されている場合や、少人数でも動画像に撮影された人物のサイズが小さい場合に、動画像から抽出するフレーム画像の枚数が多くなると、1画像当たりの表示サイズが小さくなるため、人物の判別が難しくなる。そこで、動画像に撮影された人物のサイズが所定のサイズよりも小さい場合には、人物の判別のしやすさを考慮して、動画像から抽出するフレーム画像の枚数を減らして、人物の表示サイズが所定の大きさ以上になるように調整することが望ましい。
動画像のアスペクト比は、例えば、カメラの持ち方(縦、横)や撮影モード(フルハイビジョン:1920×1080、VGA:640×480、等)によって変わる。そこで、例えば、フォトブックや電子アルバムの作成条件に応じて、画像のレイアウトに必要なアスペクト比の動画像から抽出するフレーム画像を増やし、それ以外の動画像から抽出するフレーム画像を減らすことが望ましい。例えば、縦長のフレーム画像を多く必要とする場合は、縦長の動画像から抽出するフレーム画像の枚数を増やし、横長の動画像から抽出するフレーム画像の枚数を減らす。
また、他のレイアウト例としては、図9に示すレイアウト54のように、静止画像56の周りに、時系列60に従ってフレーム画像58を並べるレイアウトとしてもよい。
レイアウトデータは画像記録部18に記録されるとともに、画像配置部28に入力され、フレーム画像および静止画像と合成されて配置データが生成され出力される(ステップS22)。出力された配置データは画像記録部18に記録される。
レイアウトデータはステップS18で“関連無し”と判定された場合と同様に、画像記録部18に記録されるとともに、画像配置部28に入力され、フレーム画像と合成されて配置データが生成され出力される(ステップS22)。出力された配置データは画像記録部18に記録される。
本発明に係る画像処理方法にて生成されたフォトブック等の配置データについて、ユーザが一部のページの再構成を行いたい場合がある。例えば、図12(a)に示す画像データ群が図12(b)に示す各グループに分類され、本発明に係る画像処理方法にて図12(c)に示すフォトブックの配置データが生成された場合を考える。ここで、ユーザは第2ページ80について、もう少し動画像から抽出されたフレーム画像が欲しいと感じた場合、操作部16の操作により第2ページ80の再構成指示を出す。つまり、操作部16から再構成指示が出力される。
再抽出指示はフレーム画像抽出部24に入力され、選択された新たなレイアウトに適合するフレーム画像が抽出され、画像記録部18に記録されると共に、画像配置部28に入力され、再構成ページ(第2ページ80)について配置データが生成され出力される。出力された配置データは画像記録部18に記録される。
図13および図14は、イベント(グループ)ごとにお勧め画像を抽出する場合の実施例である。
まず、図13に示すように、動画像および静止画像が各イベント(イベントA,イベントB,イベントC)に分類される。このとき、動画像からは解析情報および/または関連性情報に基づきフレーム画像が抽出される。
お勧め画像の抽出の一例としては、図14(a)に示すように、人物が撮影された類似シーンごとに分類が行われ、人物の顔の位置(画像の中心部よりであるか)、および顔の大きさ(画像中でのバランス等)からお勧め画像が判定され、抽出される。
抽出されたお勧め画像(フレーム画像または静止画像)は、解析情報および/または他の抽出されたお勧め画像との関連性に応じて、つまり、それぞれの解析情報および/または関連性情報を基にして、レイアウトされ配置される。
図15〜図19は、顔および消失点検出を利用して、レイアウトを行う場合の実施例である。
例えば、図15に示すように、各グループに分類された画像から、静止画像がフォトブックの見開き中央に配置され、フレーム画像がその周囲に配置されてレイアウトされる。ところが、図15に示すレイアウトでは、画像内容が考慮されておらず、すなわち、それぞれの画像の顔の向き90、および消失点92の位置は統一がとれておらず、バランスが悪いレイアウトとなってしまっている。
また、図19に示すように、解析情報の顔の向きおよび関連性情報を用いて、被写体の顔方向103の一定スペース102には他の画像が配置されないレイアウトが行われてもよい。当該レイアウトの結果、被写体の顔のすぐ前に画像が配置されず、圧迫感を与えない配置が行われる。
動画像からフレーム画像を抽出する場合の具体例を図20〜図24に示す。図20〜図24は、動画像からベストショットなフレーム画像を抽出する場合の実施例である。なお、フレーム画像の抽出後は、特に明記しない限り上記の実施例1,2と同様にレイアウトされ、フレーム画像が配置される。
図25〜図27は、同一人物における時系列の変化があった場合の分類(グループ分け)の実施例である。
例えば、図25に示すように、大量の画像群からある人物の赤ちゃんの頃から子供時代を経て、大人になるまでの画像を抽出したい場合がある。しかし、現状の顔認識技術では、顔の変化が大きい幼少期の判定や、幼少期と成人後の画像間での判定は難しく、例えば、赤ちゃんの頃の顔を登録しても、幼少期以降の画像を同一人物と認識することは難しい。そのため、図26に示すように、デジタルスチルカメラ112から静止画像データ116をパーソナルコンピュータ(以下、PCという)114に取り込み、画像処理アプリケーションでグループ分類処理を行った場合、編集画面118に、登録されている人物の顔と一致するものがない旨のメッセージ119が表示される。
このように、同一人物における時系列の変化があった場合でも、成長過程を代表する画像数枚から顔が登録されていれば、誤判定することなくグループ分けが行われる。
図28,図29は、静止画像およびフレーム画像に対して顔認識処理が行われ、自動的にフォトブックのレイアウトおよび画像配置が行われる場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例3と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。
図30,図31は、主要被写体、空、および地面の領域抽出を利用して、文字合成エリアが決定される場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例3と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。
このように、空および地面領域、あるいは顔以外の領域に文字領域がレイアウトされることで、より魅力的なフォトブックを作製することができる。
図32は、選択画像(主要画像)の色情報を基にして背景テンプレートが選択される場合の実施例である。なお、画像の抽出処理は、例えば、上記の実施例3と同様に動画像から抽出されたフレーム画像、および静止画像からベストショットが抽出される。
このように、ページに応じて背景色(背景画像)が設定されることで、フォトブックのそれぞれのページのイメージの統一感が得られ、より魅力的なフォトブックとなる。
また、本発明を、上述した画像処理プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。
12 画像データ入力部
14 画像表示部
16 操作部
18 画像記録部
19 画像グルーピング部
20 画像処理部
22 画像解析部
22a 静止画像解析部
22b 動画像解析部
24 フレーム画像抽出部
26 レイアウト決定部
28 画像配置部
30 バス
44,56 静止画像
46,48,50,58,70,74,78 フレーム画像
52,54,62,64,66,68,72,76 レイアウト
60 時系列
80 第2ページ
82,84 テンプレート
90 顔の向き
92 消失点
94 画像の方向性
100 主要被写体
102 一定スペース
103 顔方向
104,106,108,110 顔
112 デジタルスチルカメラ
114 パーソナルコンピュータ
116,120 静止画像データ
118 編集画面
119 メッセージ
122 空領域
124 顔領域
126 主要画像
128 余白部分
Claims (34)
- 複数の画像のレイアウトを行う画像処理装置であって、
動画像および静止画像のデータが入力される画像データ入力部と、
前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピング部と、
前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出部と、
前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定部と、
前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置部と、を有することを特徴とする画像処理装置。 - 前記所定の条件は、撮影時間、撮影位置、および被写体のうちの少なくとも1つであることを特徴とする請求項1に記載の画像処理装置。
- 前記関連性情報は、前記動画像の前記解析情報と前記静止画像の前記解析情報とを比較した情報であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記関連性情報は、前記解析情報であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記解析情報は、被写体の顔認識、被写体の人数、被写体の大きさ、被写体の位置、被写体の向き、被写体の顔の向き、被写体の表情認識、動き検出、撮影時間、撮影位置、構図、消失点、色味、画像全体の明るさ、画像全体の鮮やかさ、同一人物の判定、カメラの移動量、撮影条件、画像の解像度、画像のアスペクト比、および撮影モードのうちの少なくとも1つの項目を含むことを特徴とする請求項1〜4のいずれかに記載の画像処理装置。
- 前記関連性情報は、さらに、前記動画像と前記静止画像のそれぞれの前記解析情報に重み付けを行って算出した代表値を含み、該代表値を比較することで前記フレーム画像と前記静止画像との関連性の有無を判定するものであることを特徴とする請求項3または4に記載の画像処理装置。
- 前記画像解析部は、前記グループごとに配置可能な最大画像数である基準枚数から、同一グループ内の前記静止画像の枚数を引いた枚数を、前記フレーム画像を抽出することが可能な最大抽出枚数とすることを特徴とする請求項1〜6のいずれかに記載の画像処理装置。
- 前記レイアウト決定部は、前記静止画像の周りに前記フレーム画像を時系列に並べるレイアウトに決定することを特徴とする請求項1〜7のいずれかに記載の画像処理装置。
- 前記レイアウト決定部は、前記解析情報のうちの少なくとも2つの項目に基づいて、前記静止画像および前記フレーム画像のレイアウトを決定することを特徴とする請求項5に記載の画像処理装置。
- 前記レイアウト決定部は、奥行きのある前記静止画像または前記フレーム画像の周りに、消失点または画像の方向性に基づいて、他の前記静止画像または前記フレーム画像を並べるレイアウトに決定することを特徴とする請求項1〜9のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記解析情報の被写体の顔の向きおよび前記関連性情報に基づいて、顔の向きの変化がわかる前記フレーム画像を複数枚抽出し、
前記レイアウト決定部は、抽出した顔の向きの変化がわかる複数枚の前記フレーム画像を一定方向に並べるレイアウトに決定することを特徴とする請求項5に記載の画像処理装置。 - 前記レイアウト決定部は、前記解析情報の被写体の位置および前記関連性情報に基づいて、前記静止画像または前記フレーム画像に含まれた主要被写体が隠れないように、該主要被写体を含む前記静止画像または前記フレーム画像に他の前記静止画像および前記フレーム画像を重ね合わせるレイアウトに決定することを特徴とする請求項5に記載の画像処理装置。
- 前記レイアウト決定部は、前記主要被写体の顔方向の一定スペースに、他の前記静止画像および前記フレーム画像を配置しないレイアウトに決定することを特徴とする請求項12に記載の画像処理装置。
- 前記フレーム画像抽出部は、前記解析情報および前記関連性情報に基づいて、動きを表現するための前記フレーム画像を複数枚抽出し、
前記レイアウト決定部は、抽出した複数枚の前記フレーム画像を時系列に並べて動きを表現するレイアウトに決定することを特徴とする請求項1〜9のいずれかに記載の画像処理装置。 - 前記フレーム画像抽出部は、複数枚の前記フレーム画像を抽出し、抽出した複数枚の前記フレーム画像内のうちの基準となるフレーム画像と、該基準となるフレーム画像に類似するフレーム画像とを合成したフレーム画像を生成することを特徴とする請求項1〜14のいずれかに記載の画像処理装置。
- 前記画像解析部は、前記静止画像に撮影されている人物の顔と、成長過程を代表する画像から予め登録されている人物の顔とを比較することで前記解析情報の同一人物の判定を行うことを特徴とする請求項5に記載の画像処理装置。
- 前記レイアウトは、さらに背景テンプレートを含み、
前記レイアウト決定部は、主要画像となる前記静止画像または前記フレーム画像の色情報を基にして、前記背景テンプレートを決定することを特徴とする請求項1〜16のいずれかに記載の画像処理装置。 - 前記レイアウト決定部は、ユーザにより所定のページの再構成指示が入力されたとき、該所定のページ内のレイアウトを前記再構成指示に従って再構成することを特徴とする請求項1〜17のいずれかに記載の画像処理装置。
- さらに、前記動画像および前記静止画像のデータ、前記フレーム画像のデータ、前記レイアウトのデータ、ならびに前記配置のデータを記録する記録部と、
前記配置の結果を表示する表示部と、を有することを特徴とする請求項1〜18のいずれかに記載の画像処理装置。 - 前記グループは複数のグループであり、前記フレーム画像の抽出時に前記複数のグループの抽出結果が同時に前記表示部に表示されることを特徴とする請求項19に記載の画像処理装置。
- 前記フレーム画像抽出部は、前記動画像の解像度が所定の解像度よりも低く、かつ、前記グループ内の前記静止画像および前記フレーム画像の合計枚数が所定の枚数よりも少ない場合、前記動画像から抽出する前記フレーム画像の枚数を増やして、1画像の表示サイズが所定の大きさ以上にならないように調整することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記動画像に撮影された人物のサイズが所定のサイズよりも小さい場合、前記動画像から抽出する前記フレーム画像の枚数を減らして、前記人物の表示サイズが所定の大きさ以上になるように調整することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記レイアウトに必要なアスペクト比の動画像から抽出する前記フレーム画像の枚数を増やし、それ以外の動画像から抽出する前記フレーム画像の枚数を減らすことを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記動画像から抽出する、該動画像の表示画面の一部の領域を決定し、決定した領域を前記フレーム画像として抽出することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記動画像の再生時間、前記動画像の撮影内容、および、前記関連性情報のうちの少なくとも1つに応じて、前記動画像から抽出する前記フレーム画像の枚数を決定することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、前記解析情報に基づいて、抽出した前記フレーム画像の中から前記基準枚数を超えない範囲でお勧めの画像を抽出することを特徴とする請求項25に記載の画像処理装置。
- 前記フレーム画像抽出部は、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを2以上のグループに分割することを特徴とする請求項25に記載の画像処理装置。
- 前記フレーム画像抽出部は、ユーザにより、前記グループで配置可能な最大画像数である基準枚数に応じて選択された枚数の前記フレーム画像を前記動画像から抽出することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、ユーザにより選択された枚数の前記フレーム画像を前記動画像から抽出し、前記グループ内の静止画像およびフレーム画像の合計枚数が、前記グループで配置可能な最大画像数である基準枚数を超えた場合、該合計枚数が基準枚数を超えたグループを2以上のグループに分割することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 前記フレーム画像抽出部は、ユーザにより指定されたページ数に応じて、前記フレーム画像を抽出する枚数を決定することを特徴とする請求項1〜20のいずれかに記載の画像処理装置。
- 請求項1〜30のいずれかに記載の画像処理装置と、
前記配置のデータを印刷する印刷装置とを有するプリント作製システム。 - 請求項1〜30のいずれかに記載の画像処理装置と、
前記配置のデータを印刷する印刷装置と、
印刷された用紙を製本する製本装置とを有するフォトブック作製システム。 - 複数の画像のレイアウトを行う画像処理方法であって、
画像データ入力部が、動画像および静止画像のデータを入力する画像データ入力ステップと、
画像グルーピング部が、前記動画像および前記静止画像を、所定の条件でグループに分類する画像グルーピングステップと、
画像解析部が、前記グループごとに、分類された前記動画像および前記静止画像を解析し、前記動画像と前記静止画像とを解析して得られた解析情報、および前記動画像と前記静止画像の関連性を表す関連性情報を求める画像解析ステップと、
フレーム画像抽出部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、各々の前記動画像からフレーム画像を抽出する枚数を決定し、決定した枚数の前記フレーム画像を抽出するフレーム画像抽出ステップと、
レイアウト決定部が、前記グループごとに、前記解析情報および前記関連性情報の少なくとも一方に応じて、前記静止画像および前記フレーム画像のレイアウトを決定するレイアウト決定ステップと、
画像配置部が、前記グループごとに、前記レイアウトに従って前記静止画像および前記フレーム画像を配置する画像配置ステップと、を有することを特徴とする画像処理方法。 - 請求項33に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126399A JP5686673B2 (ja) | 2010-07-22 | 2011-06-06 | 画像処理装置、画像処理方法およびプログラム |
US13/185,046 US9020328B2 (en) | 2010-07-22 | 2011-07-18 | Image processing device, image processing method, and program |
CN201110209244.7A CN102426574B (zh) | 2010-07-22 | 2011-07-22 | 信息处理装置、信息处理方法 |
US14/681,593 US9311961B2 (en) | 2010-07-22 | 2015-04-08 | Image extracting device, image extracting method, and recording medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010165036 | 2010-07-22 | ||
JP2010165036 | 2010-07-22 | ||
JP2011126399A JP5686673B2 (ja) | 2010-07-22 | 2011-06-06 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012044646A JP2012044646A (ja) | 2012-03-01 |
JP5686673B2 true JP5686673B2 (ja) | 2015-03-18 |
Family
ID=45493691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011126399A Active JP5686673B2 (ja) | 2010-07-22 | 2011-06-06 | 画像処理装置、画像処理方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US9020328B2 (ja) |
JP (1) | JP5686673B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3226584A1 (en) | 2016-03-31 | 2017-10-04 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and program |
US10402654B2 (en) | 2015-12-25 | 2019-09-03 | Canon Kabushiki Kaisha | Image processing method for selecting image to be output |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5389724B2 (ja) * | 2010-03-31 | 2014-01-15 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10455096B2 (en) | 2010-08-09 | 2019-10-22 | Decopac, Inc. | Decorating system for edible products |
JP5820142B2 (ja) * | 2011-04-27 | 2015-11-24 | キヤノン株式会社 | 情報処理装置およびその制御方法、並びにプログラム |
US10450443B2 (en) | 2012-02-29 | 2019-10-22 | Bridgestone Corporation | Tire |
CN103426003B (zh) * | 2012-05-22 | 2016-09-28 | 腾讯科技(深圳)有限公司 | 增强现实交互的实现方法和系统 |
US9201562B2 (en) * | 2012-05-31 | 2015-12-01 | International Business Machines Corporation | Value specification in a responsive interface control |
JP2014146939A (ja) * | 2013-01-29 | 2014-08-14 | Dainippon Printing Co Ltd | フォトブック作成端末、フォトブック作成方法、及びプログラム |
JP6104077B2 (ja) * | 2013-07-01 | 2017-03-29 | オリンパス株式会社 | 撮影機器及び撮影方法 |
JP6463996B2 (ja) * | 2015-03-06 | 2019-02-06 | キヤノン株式会社 | 情報処理装置、方法およびプログラム |
KR101650153B1 (ko) * | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
JP6389801B2 (ja) * | 2015-05-27 | 2018-09-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP6389803B2 (ja) * | 2015-05-27 | 2018-09-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
KR102336448B1 (ko) * | 2015-06-10 | 2021-12-07 | 삼성전자주식회사 | 사진 추출 전자 장치 및 방법 |
CN106257415A (zh) * | 2015-06-19 | 2016-12-28 | 阿里巴巴集团控股有限公司 | 实现动态图片预览的方法和装置、表情包展示方法和装置 |
JP6685682B2 (ja) | 2015-09-24 | 2020-04-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US20170092324A1 (en) * | 2015-09-30 | 2017-03-30 | Apple Inc. | Automatic Video Compositing |
EP3323128A1 (en) | 2015-09-30 | 2018-05-23 | Apple Inc. | Synchronizing audio and video components of an automatically generated audio/video presentation |
US10726594B2 (en) | 2015-09-30 | 2020-07-28 | Apple Inc. | Grouping media content for automatically generating a media presentation |
US10269387B2 (en) | 2015-09-30 | 2019-04-23 | Apple Inc. | Audio authoring and compositing |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
JP6586009B2 (ja) * | 2015-12-25 | 2019-10-02 | キヤノン株式会社 | 情報処理装置、処理方法、およびプログラム |
JP2017208770A (ja) * | 2016-05-20 | 2017-11-24 | 株式会社トーセ | 切取画像作成システム |
CN107464269A (zh) * | 2016-06-02 | 2017-12-12 | 阿里巴巴集团控股有限公司 | 搭配效果图的生成方法、装置及系统 |
US10460196B2 (en) * | 2016-08-09 | 2019-10-29 | Adobe Inc. | Salient video frame establishment |
KR101706271B1 (ko) * | 2016-08-10 | 2017-02-22 | 주식회사 에이베스트 | 고속철의 도상 균열 검사장치 |
JP6601966B2 (ja) * | 2016-09-16 | 2019-11-06 | 富士フイルム株式会社 | 背面画像候補決定装置、背面画像候補決定方法および背面画像候補決定プログラム |
JP6904692B2 (ja) | 2016-12-09 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP6873678B2 (ja) * | 2016-12-09 | 2021-05-19 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP6862164B2 (ja) | 2016-12-09 | 2021-04-21 | キヤノン株式会社 | プログラム、画像処理装置、および画像処理方法 |
JP6953128B2 (ja) * | 2016-12-09 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
JP6904871B2 (ja) * | 2017-10-03 | 2021-07-21 | キヤノン株式会社 | プログラム、情報処理装置、および情報処理方法 |
JP7076974B2 (ja) * | 2017-10-03 | 2022-05-30 | キヤノン株式会社 | 画像処理装置、制御方法およびプログラム |
JP6548788B2 (ja) * | 2018-07-09 | 2019-07-24 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
DE102018122626B3 (de) * | 2018-09-17 | 2020-01-23 | di support GmbH | Fotoalbum, Verfahren zur Bestückung eines solchen Fotoalbums und Druckeinrichtung zur Durchführung des Verfahrens |
CN112753049A (zh) | 2018-09-25 | 2021-05-04 | 富士胶片株式会社 | 图像处理装置、图像处理方法及图像处理程序 |
JP7187986B2 (ja) * | 2018-10-31 | 2022-12-13 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置 |
US10692124B1 (en) | 2018-12-07 | 2020-06-23 | Decopac, Inc. | Systems and methods for ordering and preparation of customized comestibles |
US11216911B2 (en) * | 2019-10-31 | 2022-01-04 | Dell Products L.P. | Device manufacturing cycle time reduction using machine learning techniques |
WO2021166583A1 (ja) * | 2020-02-17 | 2021-08-26 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246868A (ja) * | 2003-01-22 | 2004-09-02 | Canon Inc | 画像抽出方法及び該方法をコンピュータに実行させるプログラム |
JP3984175B2 (ja) * | 2003-01-31 | 2007-10-03 | 富士フイルム株式会社 | 写真画像選別装置およびプログラム |
JP4649980B2 (ja) * | 2004-12-21 | 2011-03-16 | ソニー株式会社 | 画像編集装置、画像編集方法、プログラム |
JP4781844B2 (ja) * | 2005-03-01 | 2011-09-28 | 富士フイルム株式会社 | 画像出力装置、画像出力方法、および画像出力プログラム |
US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
JP2006287917A (ja) | 2005-03-08 | 2006-10-19 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム |
JP4704253B2 (ja) | 2005-04-13 | 2011-06-15 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
JP4795030B2 (ja) * | 2006-01-27 | 2011-10-19 | キヤノン株式会社 | 情報処理装置およびその制御方法およびプログラム |
JP4228320B2 (ja) * | 2006-09-11 | 2009-02-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2008065792A (ja) * | 2006-09-11 | 2008-03-21 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8934717B2 (en) * | 2007-06-05 | 2015-01-13 | Intellectual Ventures Fund 83 Llc | Automatic story creation using semantic classifiers for digital assets and associated metadata |
JP4902499B2 (ja) * | 2007-11-05 | 2012-03-21 | 株式会社リコー | 画像表示装置、画像表示方法、および画像表示システム |
JP2009237702A (ja) * | 2008-03-26 | 2009-10-15 | Fujifilm Corp | アルバム作成方法、プログラムおよび装置 |
JP4645672B2 (ja) | 2008-03-31 | 2011-03-09 | ブラザー工業株式会社 | 画像処理装置 |
JP4569659B2 (ja) | 2008-03-31 | 2010-10-27 | ブラザー工業株式会社 | 画像処理装置 |
US8687230B2 (en) | 2008-03-31 | 2014-04-01 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP4572948B2 (ja) * | 2008-03-31 | 2010-11-04 | ブラザー工業株式会社 | 画像処理装置 |
JP4760849B2 (ja) * | 2008-03-31 | 2011-08-31 | ブラザー工業株式会社 | 画像処理装置 |
US8320717B2 (en) | 2008-03-31 | 2012-11-27 | Brother Kogyo Kabushiki Kaisha | Image processor |
JP5084682B2 (ja) | 2008-09-25 | 2012-11-28 | キヤノン株式会社 | 画像処理装置、制御方法、プログラム及び記録媒体 |
-
2011
- 2011-06-06 JP JP2011126399A patent/JP5686673B2/ja active Active
- 2011-07-18 US US13/185,046 patent/US9020328B2/en active Active
-
2015
- 2015-04-08 US US14/681,593 patent/US9311961B2/en active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10402654B2 (en) | 2015-12-25 | 2019-09-03 | Canon Kabushiki Kaisha | Image processing method for selecting image to be output |
EP3226584A1 (en) | 2016-03-31 | 2017-10-04 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and program |
US10397963B2 (en) | 2016-03-31 | 2019-08-27 | Canon Kabushiki Kaisha | Information processing apparatus, control method, and non-transitory computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
US9311961B2 (en) | 2016-04-12 |
JP2012044646A (ja) | 2012-03-01 |
US20120020648A1 (en) | 2012-01-26 |
US9020328B2 (en) | 2015-04-28 |
US20150213837A1 (en) | 2015-07-30 |
CN102426574A (zh) | 2012-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5686673B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US9881229B2 (en) | Apparatus, method and program for image search | |
US8345118B2 (en) | Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium | |
JP6009481B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
JP6323465B2 (ja) | アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 | |
JP5857133B2 (ja) | 顔検出を使用した画像の再構成 | |
JP4762827B2 (ja) | 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム | |
US8861889B2 (en) | Image processing device, method and program for extracting still image data from moving image data | |
JP5478999B2 (ja) | 撮影装置 | |
JP2009237702A (ja) | アルバム作成方法、プログラムおよび装置 | |
US20140023281A1 (en) | Continuation of multi-element image templates | |
TW200945895A (en) | Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus | |
US8509564B2 (en) | Graphic arrangement deciding method, recording medium and information processing apparatus | |
TWI435268B (zh) | 電腦執行用於產生與事件有關圖形表示之方法與系統 | |
JP2006314010A (ja) | 画像処理装置及び画像処理方法 | |
JP4490214B2 (ja) | 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム | |
US20110304644A1 (en) | Electronic apparatus and image display method | |
JP4789658B2 (ja) | スライドショー再生方法、スライドショー再生プログラム、及びスライドショー再生装置 | |
JP6197063B2 (ja) | 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体 | |
US11978133B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN102426574B (zh) | 信息处理装置、信息处理方法 | |
JP2010244330A (ja) | 画像演出プログラムおよび画像演出装置 | |
JP2010183276A (ja) | カメラ及び表示装置並びに電子機器 | |
JP2012084184A (ja) | アルバム作成装置、方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5686673 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |