JP5817400B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP5817400B2
JP5817400B2 JP2011216582A JP2011216582A JP5817400B2 JP 5817400 B2 JP5817400 B2 JP 5817400B2 JP 2011216582 A JP2011216582 A JP 2011216582A JP 2011216582 A JP2011216582 A JP 2011216582A JP 5817400 B2 JP5817400 B2 JP 5817400B2
Authority
JP
Japan
Prior art keywords
frame
image
content
information processing
display data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011216582A
Other languages
English (en)
Other versions
JP2013077982A (ja
JP2013077982A5 (ja
Inventor
倉田 雅友
雅友 倉田
佐藤 浩司
浩司 佐藤
祐介 阪井
祐介 阪井
智裕 石井
智裕 石井
村田 誠
誠 村田
直樹 澁谷
直樹 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011216582A priority Critical patent/JP5817400B2/ja
Priority to US13/589,440 priority patent/US10380773B2/en
Priority to CN2012103572376A priority patent/CN103197850A/zh
Publication of JP2013077982A publication Critical patent/JP2013077982A/ja
Publication of JP2013077982A5 publication Critical patent/JP2013077982A5/ja
Application granted granted Critical
Publication of JP5817400B2 publication Critical patent/JP5817400B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、静止画や動画を撮像可能な撮像装置の普及に伴い、ユーザ個人が撮りためた静止画コンテンツや動画コンテンツの数が増加し、静止画・動画アーカイブの検索やこれらアーカイブの新たな閲覧方法としての要約閲覧技術のニーズが高まっている。
また、情報処理技術の発達に伴い、電子書籍や電子コミック等が一般的になりつつあり、ユーザ個人が撮像した静止画や動画から、このような電子コミックを容易に生成したい、というニーズが高まってきている。
このようなニーズに鑑み、静止画や動画からなるコンテンツの要約閲覧方法として、静止画や動画を含むコンテンツから画像を自動抽出し、抽出した画像を漫画的に配置することで、コンテンツの要約(ダイジェスト)をユーザに提供する技術が開示されている(以下の特許文献1を参照。)。
特開2010−191934号公報
しかしながら、上記特許文献1に記載の技術では、コンテンツの要約を自動的に生成することは可能であるが、自動生成されたコンテンツの要約は、コンテンツを特徴づける特徴量に基づいて生成されるため、ユーザの意図するものとならない可能性がある。
そのため、静止画や動画を含むコンテンツから生成された、漫画的なコンテンツの要約に対し、ユーザ自身により、コマの追加・削除・修正といったレイアウトの編集作業を容易に実施可能な技術が希求されていた。
そこで、本開示では、上記事情に鑑み、静止画や動画を含むコンテンツから生成された漫画的なダイジェストコンテンツに対して、容易にレイアウトの編集処理を実施することが可能な情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える情報処理装置が提供される。
また、本開示によれば、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集することを含む情報処理方法が提供される。
また、本開示によれば、コンピュータに、静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理機能を実現させるためのプログラムが提供される。
本開示によれば、ユーザ操作に応じて、ダイジェストコンテンツにおけるコマ割り又はコマへの画像の配置の少なくとも何れかが編集される。
以上説明したように本開示によれば、静止画や動画を含むコンテンツから生成された漫画的なダイジェストコンテンツに対して、容易にレイアウトの編集処理を実施することが可能となる。
コンテンツの要約を漫画的に示したダイジェストコンテンツについて説明するための説明図である。 本開示の実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置のユーザインタフェースについて示した説明図である。 同実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係るコミック表示データの一例を示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコマ画像の差し替え処理の流れの一例を示した流れ図である。 同実施形態に係るコマ画像の差し替え処理の流れの一例を示した流れ図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 同実施形態に係るコミック表示データのレイアウト編集処理について示した説明図である。 本実施形態に係る情報処理装置の第1変形例を示した説明図である。 本開示の実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
(1)漫画的なレイアウトを有するダイジェストコンテンツについて
(2)第1の実施形態
(2−1)ユーザインタフェースの一例について
(2−2)情報処理装置の構成について
(2−3)第1変形例
(3)本開示の実施形態に係る情報処理装置のハードウェア構成について
(4)まとめ
(漫画的なレイアウトを有するダイジェストコンテンツについて)
本開示の実施形態に係る情報処理装置及び情報処理方法について説明するに先立ち、図1を参照しながら、本開示の実施形態で着目する漫画的なレイアウトを有するダイジェストコンテンツ(以下、単に「ダイジェストコンテンツ」ともいう。)について簡単に説明する。図1は、コンテンツの要約を漫画的に示したダイジェストコンテンツについて説明するための説明図である。
本開示の実施形態で着目するダイジェストコンテンツは、単一又は複数の静止画コンテンツや動画コンテンツに基づいて生成されたものである。このダイジェストコンテンツは、図1に例示したように、静止画コンテンツや動画コンテンツに含まれる複数の画像の中から重要なシーンや特徴的なシーンの画像が抽出されて、漫画的に配置変換されたものである。
図1に示したような表示領域701を考える。この表示領域701は、通常の漫画におけるページに該当するものである。表示領域701は、複数のコマ703にコマ割りされており、それぞれのコマには、動画データや静止画データに含まれる画像(例えばサムネイル画像)705が配置される。
また、サムネイル画像705には、動画データや静止画データに関連付けられたメタデータに基づいて、各種の吹き出し707や、集中線709、効果線711などの画面効果(エフェクト)等が自動的に配置されている。吹き出し707、集中線709、効果線711等は、通常の紙媒体における漫画のように、コマ703の内外に自由に配置されている。
また、このようなダイジェストコンテンツの視聴者が、あるサムネイル画像705がどのようなシーンであるのかを把握したいと考える場合も生じうる。この際には、ユーザはマウスやキーボードやタッチパネル等の入力装置を操作して、マウスポインタ等の位置選択オブジェクト713を所望のサムネイル画像705まで移動させ、いわゆるマウスオーバーと呼ばれる状態にする。すると、ダイジェストコンテンツでは、位置選択オブジェクト713が重ねられたサムネイル画像705について、コマ内でサムネイル画像705を開始画像とするアニメーションや音声再生が実行される。
図1では、表示領域701は1つのみ示しているが、表示画面等の大きさにより、表示領域701の大きさを変更することも可能であり、1つの表示画面内に複数の表示領域701を配置することも可能である。
また、ダイジェストコンテンツでは、動画や静止画を構成する画像は基本的に各画像に関連付けられた時刻情報順に配置されているため、視聴者は、通常の漫画を読むのと同様にして、動画データや静止画データ等の内容を容易に把握することが可能である。また、サムネイル画像に関連付けられたメタデータに応じて、吹き出し等の画面効果が自動的に配置されているため、視聴者は、動画データや静止画データ等のコンテンツの内容を、楽しみながら確認することができる。
以上のようなダイジェストコンテンツは、静止画コンテンツや動画コンテンツ等のコンテンツに基づいて、コンテンツの要約が自動的に生成されたものである。しかしながら、ダイジェストコンテンツが自動生成される際に基準となっているものは、基となるコンテンツを特徴づける特徴量をスコア化したもの(上記特許文献1におけるダイジェストスコア)である。そのため、自動生成されたままの状態のダイジェストコンテンツは、特徴量にのみ基づいて自動生成されたものであるため、ユーザの意図するものとなっていない可能性がある。
そのため、静止画や動画を含むコンテンツから生成された、漫画的なコンテンツの要約に対し、ユーザ自身により、コマの追加・削除・修正といったレイアウトの編集作業を容易に実施可能な技術が希求されていた。
そこで、本発明者は、上記の点を解決すべく鋭意検討を行った結果、以下で説明するような、本開示の実施形態に係る情報処理装置及び情報処理方法に想到した。以下、図2〜図23を参照しながら、本開示における技術的思想について、詳細に説明する。
(第1の実施形態)
<ユーザインタフェースの一例について>
まず、図2〜図10を参照しながら、本開示の第1の実施形態に係る情報処理装置で提供されるユーザインタフェースの一例について、簡単に説明する。図2〜図10は、本実施形態に係る情報処理装置のユーザインタフェースの一例を示した説明図である。
本実施形態に係る情報処理装置は、生成されたダイジェストコンテンツを保管・管理する機能と、ダイジェストコンテンツを再生(実行)する機能と、生成されたダイジェストコンテンツを編集する機能と、を少なくとも有している。また、本実施形態に係る情報処理装置は、動画コンテンツや静止画コンテンツを含む各種のコンテンツに基づいて、ダイジェストコンテンツを生成する機能を更に有していてもよい。
本実施形態に係る情報処理装置が、ダイジェストコンテンツに関する上記の機能をユーザに提供するためのアプリケーションを実行すると、任意のスタート画面に続いて、図2に示したような「ライブラリモード」に対応する表示ウィンドウをユーザに提供する。図2に示した「ライブラリモード」は、ユーザに対して、情報処理装置が管理しているダイジェストコンテンツの一覧を提供するモードである。
ユーザが「ライブラリモード」の表示ウィンドウにおいて、管理されているダイジェストコンテンツに関するアイコン等のオブジェクトを選択すると、表示内容は、選択されたダイジェストコンテンツを再生する際の表示ウィンドウへと変化する。その結果、情報処理装置は、「ライブラリモード」に対応する表示ウィンドウに代えて、ダイジェストコンテンツを再生するモードである「再生モード」に対応する表示ウィンドウをユーザに提供することとなる。
ユーザが「ライブラリモード」の表示ウィンドウにおいて、所定のアイコン等のオブジェクトを操作すると、生成されているダイジェストコンテンツを編集するための表示ウィンドウへと変化する。その結果、情報処理装置は、「ライブラリモード」に対応する表示ウィンドウに代えて、ダイジェストコンテンツを編集するモードである「編集モード」に対応する表示ウィンドウをユーザに提供することとなる。
また、ユーザにより「ライブラリモード」の表示ウィンドウに表示されている所定のアイコン等のオブジェクトが操作されると、情報処理装置は、ダイジェストコンテンツを生成するためのモードである「生成モード」へと移行してもよい。
図3は、「ライブラリモード」における表示ウィンドウの一例を示した説明図である。
図3に示したように、ライブラリモードの表示ウィンドウには、既に生成されているダイジェストコンテンツのサムネイル画像501が表示される。各サムネイル画像501は、ユーザにより選択されたものであってもよく、ダイジェストコンテンツの自動生成時に自動的に決定されたものであってもよい。また、これらのサムネイル画像501は、該当するダイジェストコンテンツがローカル機器(すなわち、情報処理装置)に存在するのか、ネットワーク上に存在する各種サーバ上に存在するのか、といった状況に応じて、異なる表示となってもよい。
ユーザがアイコン等の位置指定オブジェクトを操作したり、タッチパネルを操作したりすることによってサムネイル画像501を選択する操作を実施すると、情報処理装置は、選択されたサムネイル画像501に対応するダイジェストコンテンツを再生するモードへと移行する。また、例えばマウスの右クリック操作のような操作を行うことでサムネイル画像501のプロパティを設定するモードを選択すると、図3の下図に一例を示したようなサブウィンドウが表示される。図3の下図に示したようなセッティングに関するサブウィンドウでは、選択したダイジェストコンテンツの作成者(Author)を入力したり、ダイジェストコンテンツをSNS等のネットワークでシェアするための設定(SNS settings)等を設定したりすることができる。
また、ユーザがダイジェストコンテンツ生成モードへと移行するためのオブジェクト503を選択した場合には、情報処理装置は、ダイジェストコンテンツを生成する「生成モード」へと移行する。
図4は、「生成モード」における表示ウィンドウの一例を示した説明図である。
生成モードに対応する表示ウィンドウでは、ダイジェストコンテンツの作成者(Author)に対応する文字列が入力される作成者入力領域511や、ダイジェストコンテンツのタイトル(Title)に対応する文字列が入力されるタイトル入力領域513が表示される。ユーザは、これらの入力領域に任意の文字列を入力することで、ダイジェストコンテンツの作成者やタイトルといったメタデータを任意に設定することができる。
また、ユーザが生成モードの表示ウィンドウに表示されている、ダイジェストコンテンツの素材指定ボタン515を選択すると、図4右側上段に示したような素材選択サブウィンドウが表示される。この素材選択サブウィンドウでは、ダイジェストコンテンツの素材として用いられる静止画コンテンツや動画コンテンツ等がユーザ操作により指定される。ユーザはこのサブウィンドウで任意のコンテンツを指定することで、ダイジェストコンテンツが自動的に生成される。
なお、図4右側上段に示したように、ユーザは、素材となるコンテンツを「chapter」と表示されている編集単位ごとに指定することができる。この「chapter」と表示されている編集単位が、生成されたダイジェストコンテンツにおける章立てに対応する。換言すれば、自動生成されるダイジェストコンテンツは、各chapterに対応するダイジェストコンテンツを、chapter番号順につなぎ合わせたものであるといえる。なお、chapter数は、適宜決定することが可能である。
ユーザがchapter毎にコンテンツを選択すると、選択されたコンテンツのサムネイル画像や、コンテンツのメタデータ(例えば、ファイル名や、ファイル生成日や、ファイルの再生時間等)が表示される。また、この素材選択サブウィンドウには、一旦選択されたコンテンツを削除するためのボタンや、更にコンテンツを追加するためのボタン等も併せて表示される。
なお、ダイジェストコンテンツの素材として用いられるコンテンツは、図4に示したようにファイル毎に指定されてもよく、フォルダ単位で指定されてもよい。フォルダ単位でコンテンツが指定された場合には、例えばフォルダ内に存在する全てのコンテンツを素材として用いられるように設定することも可能である。また、フォルダ単位でコンテンツが指定された場合、通常は、データが生成された順にフォルダ内のコンテンツが素材として用いられることとなるが、素材として用いられる順序をユーザが指定するようにしてもよい。
以上のようにして素材となるコンテンツが指定された後に、コンテンツの生成開始を指定するための生成開始ボタン(Creation Start)517が操作されると、図4下段に示したような解析処理画面へと表示画面が移行する。この解析処理画面では、現在解析が行われているコンテンツのメタデータが表示されたり、コンテンツのサムネイル画像が表示されたり、解析処理の進行状況を表すオブジェクトが表示されたりする。
このような解析処理画面を経ることで、図2に示したようなダイジェストコンテンツが自動的に生成されることとなる。解析処理が終了してダイジェストコンテンツが生成された場合、情報処理装置は、図4下段に示したような解析処理画面から図2に示したようなライブラリモードの表示ウィンドウへと画面を遷移させてもよい。また、情報処理装置は、ダイジェストコンテンツの生成が終了すると、図2に示したような編集モードの表示ウィンドウへと画面を遷移させてもよい。
図5は、「編集モード」における表示ウィンドウの一例を示した説明図である。
編集モードに対応する表示ウィンドウは、生成されたダイジェストコンテンツのプレビューが表示されるプレビュー表示領域521と、ダイジェストコンテンツのあるコマに対応付けられたフレーム画像(コマ画像)が表示される画像表示領域523と、ダイジェストコンテンツに対応する特徴量(例えば上記特許文献1におけるダイジェストスコア)が表示される特徴量表示領域525と、を含む。また、特徴量表示領域525には、コマ画像として選択されたフレーム画像を表すアイコンや、エフェクトが付与されたコマ画像を表すアイコンや、ダイジェストコンテンツのカバー画像として用いられているコマ画像を表すアイコン等のオブジェクト527が表示される。
ユーザは、特徴量表示領域525に表示されているダイジェストスコア等の特徴量を参照することで、着目しているコンテンツの見どころを、容易に判定することができる。また、プレビュー表示領域521においてあるコマが選択されたり、特徴量表示領域525において、時系列に沿って配置されたあるフレーム画像が選択されたりすると、このような選択処理によって選択された画像が、画像表示領域523に表示される。これにより、ユーザは、自身の選択した画像の詳細を、容易に確認することができる。
ユーザは、プレビュー表示領域521や、画像表示領域523や、特徴量表示領域525や、各種のオブジェクト527を操作することで、ダイジェストコンテンツのコマ割りや、コマそのものに対応づけられたフレーム画像等を含むダイジェストコンテンツのレイアウトを、自由に操作することが可能となる。
また、図5に示したような編集モードに対応する表示ウィンドウにおいて、「Option Menu」が選択されると、このような「Option Menu」において、エフェクトを追加する操作や、いわゆる吹き出しを追加する操作等を行うことができる。
図6は、コマ画像にエフェクトを追加するためのサブウィンドウの一例を示した説明図である。図6に示したように、エフェクトを追加するためのサブウィンドウには、エフェクトの名前(例えば、「zoom」や「sound effect」等)や、エフェクトに対応する図柄のサムネイル画像等が表示される。
図7は、コマ画像に吹き出しに対応するテキストデータを追加するためのサブウィンドウの一例を示した説明図である。図7に示したように、テキスト入力ウィンドウに任意の文字列を入力することで、ユーザは、指定したコマ画像に対して任意の吹き出しエフェクトを追加することが可能となる。また、指定したコマ画像に付随するメタ情報や、音声認識などの技術により自動入力されたテキストが存在する場合には、これら既に存在するテキストを編集することも可能である。
なお、情報処理装置における「編集モード」については、以下で改めて詳細に説明することとする。
図3に示したようなライブラリモードの表示ウィンドウにおいて、ダイジェストコンテンツに対応するサムネイル画像501が選択されると、図8に示したようなタイトル画面が表示され、ページ推移用のオブジェクト531が操作されることで、ダイジェストコンテンツのコミック様ページレイアウトをめくることができる。また、ダイジェストコンテンツに音声データが付随している場合には、ダイジェストコンテンツの再生に伴って、対応する音声データが再生される。
また、ユーザ操作によりコミック様ページレイアウトを拡大表示するための操作が実施されると、ユーザ操作に連動して、表示されるコマ画像の大きさが変化することとなる。例えば図9上段に示した点線で囲った領域に対して拡大表示のためのユーザ操作が実施されると、図9下段に示したように、該当部分の拡大画像が表示されることとなる。
また、あるコマ画像が選択されたり、最大拡大率が選択されたりした場合には、情報処理装置は、図10に示したようなフレーム再生モードに移行する。このフレーム再生モードでは、コマ画像に対応するコンテンツの一部分の動画が再生される。また、表示画面には、図10に示したように、コンテンツの名前や、データ生成日や、再生時間等といったメタデータが併せて表示される。
以上、図2〜図10を参照しながら、本実施形態に係る情報処理装置で提供されるユーザインタフェースの一例について、簡単に説明した。
<情報処理装置の構成について>
続いて、図11〜図21を参照しながら、先だって説明したようなユーザインタフェースを提供する本実施形態に係る情報処理装置の構成について、詳細に説明する。なお、以下の説明では、コミック様ページレイアウトから構成されるダイジェストコンテンツの実体データを、「コミック表示データ」と称することとする。
図11は、本実施形態に係る情報処理装置10の構成の一例を示したブロック図である。図11に示したように、本実施形態に係る情報処理装置10は、コンテンツデータ取得部101と、コミック表示データ生成処理部103と、コミック表示データ編集部105と、表示制御部107と、コミック表示実行部109と、記憶部111と、を主に備える。これらの処理部が互いに連携して機能することで、図2〜図10に示したようなユーザインタフェースを備えるアプリケーションが提供される。
コンテンツデータ取得部101は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、入力装置、通信装置等により実現される。コンテンツデータ取得部101は、情報処理装置10に対してなされたユーザ操作に応じて、ユーザが指定した動画コンテンツや静止画コンテンツ等のコンテンツに対応する実体データ(コンテンツデータ)を、後述する記憶部111や、情報処理装置10に挿入された各種の記録媒体や、ネットワーク等に接続されており情報処理装置10が通信可能な各種コンピュータ等から取得する。
ここで、動画コンテンツに関するコンテンツデータとは、時刻情報が関連付けられた複数の画像及び音声からなる動画の実体データを意味する。また、静止画コンテンツに関するコンテンツデータには、静止画データが生成された時刻に関する時刻情報が関連付けられているものとする。
コンテンツデータ取得部101は、取得した動画コンテンツや静止画コンテンツ等のコンテンツデータを、後述するコミック表示データ生成処理部103に出力する。また、コンテンツデータ取得部101は、取得したコンテンツデータに当該コンテンツデータを取得した日時等の時刻情報を関連付けて、後述する記憶部111等に履歴情報として格納してもよい。
コミック表示データ生成処理部103は、例えば、CPU、ROM、RAM、入力装置等により実現される。コミック表示データ生成処理部103は、例えば上記特許文献1に記載されている方法を利用して、図1に示したようなコミック様ページレイアウトから構成されるコミック表示データを生成する。また、コミック表示データの生成処理は、上記特許文献1に記載の方法に限定されるわけではなく、ユーザが自身で選択したコマ画像を利用して、半自動でレイアウト設定を行う方法や、テンプレートレイアウトに従ってユーザがコマ画像を配置することでコミック表示データを生成する方法など、公知の方法を利用することが可能である。また、ユーザがコマのレイアウト(コマ割り)及びコマ画像を全て設定することで、コミック表示データが生成されてもよい。
コミック表示データ生成処理部103が、上記特許文献1に記載の方法によりコミック表示データを生成する場合、生成されるコミック表示データは、図12に示したようなデータ群から構成されることとなる。コミック表示データは、例えば図12に示したように、例えばXML形式で記述されているコマ情報と、フレーム画像データと、音声データと、エフェクトデータとを少なくとも含むように構成されている。情報処理装置10や他の装置は、XML形式で記述されているコマ情報を読み込んで表示することで、様々なアプリケーションにおいてコミック表示画面を生成することができる。
例えば、Visual C++(登録商標)等を利用したスタンドアロンのネットワークアプリケーション、Java・Brew等の携帯アプリケーション、FlashやJavaScript等を利用したブラウザアプリケーション等でコミック表示を実現できる。例えば、Action Scriptを利用してFlash用のファイル(SWFファイル)を作成し、コミック画像の配置情報XMLであるコマ情報を読み込ませることで、一般的なWebブラウザを用いてコミック表示画面を閲覧することが可能である。
また、Flashによりコミック表示データを作成することで、よりインタラクティブなコンテンツ表現が可能となる。例えば、ボタンによってページをめくったり、マウスホイールによるスクロールによりページをめくったりするような実装が可能となる。また、コマを時系列順にアニメーション表示することにより、多くのコマが存在した場合であっても、迷うことなくスムーズに読み進めることが可能である。また、サムネイル画像をクリックして音声を再生した際に、クリックされたコマ以外の全てのコマの透明度を上昇させることにより、現在再生中のコマをより分かりやすく強調することができる。このように、コマ情報をXML形式のファイルとして出力することで、Flashをはじめとする様々なアプリケーションから参照可能となる。
コミック表示データ生成処理部103は、生成したコミック表示データを記憶部111等に格納してもよく、生成したコミック表示データを後述するコミック表示データ編集部105に出力してもよい。また、コミック表示データ生成処理部103は、生成したコミック表示データを、CD−ROM、DVD−ROM、Blu−ray Discといった各種の記録媒体や、USBメモリ等の各種のフラッシュメモリ等に格納してもよい。また、コミック表示データ生成処理部103は、生成したコミック表示データを、インターネット等の通信網を介して、他の情報処理装置に提供することも可能である。
編集処理部の一例であるコミック表示データ編集部105は、例えば、CPU、ROM、RAM、入力装置等により実現される。コミック表示データ編集部105は、予め生成されているダイジェストコンテンツ(コミック表示データ)に対して、コミック表示データのコマ割り又はコマへのフレーム画像の配置の少なくとも何れかを、ユーザ操作に応じて編集する。
コミック表示データ編集部105により実施されるレイアウト編集処理に際して、図5に示したようなプレビュー表示領域521に表示されるコミック様ページレイアウトの表示領域は、1又は複数の編集単位区画に予め区画されている。その上で、コミック表示データ編集部105は、表示領域内に存在する任意のコマ、又は、互いに隣接するコマ間に対して、コマ割り又はコマへの画像の配置に関するユーザ操作が行われた場合に、当該ユーザ操作が行われたコマ又はコマ間が属する編集単位区画内で、コマ割り又はコマへの画像の配置を再設定することができる。
また、コミック表示データ編集部105は、コミック様ページレイアウトの再設定に際して、コマ割りの再設定やコマ画像の選択処理といった、コミック表示データ生成処理部103が実施する処理を実施することが求められる場合には、コミック表示データ生成処理部103と連携して、レイアウトの編集処理を実施することができる。
なお、上記編集単位区画は、コミック様ページレイアウトのページ単位で規定されるものであってもよく、複数のページにまたがって規定されるものであってもよい。また、編集単位区画は、1又は複数のコマからなるブロック単位で規定されるものであってもよい。このような編集単位区画は、本実施形態に係る情報処理装置10の初期設定値やユーザ操作等によって、適宜設定することができる。
具体的には、コミック表示データ編集部105は、以下のような編集処理をユーザ操作に応じて実施することができる。以下では、図13A〜図21を参照しながら、これらの編集処理について、具体的に説明する。
・コマ画像の差し替え
・コマの追加・削除
・コマ形状の変更
・コマ画像の表示領域(クロップ領域)の変更
・コマへのエフェクトの追加/削除
・レイアウト全体に対してのテーマの選択・変更
[コマ画像の差し替え]
まず、図13A〜図14Bを参照しながら、コマ画像の差し替え処理について、具体的に説明する。
図13Aに例示したように、1ページに7つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像A〜コマ画像Gの7つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。ここで、上記の編集単位区画は、レイアウトの縦方向の中心位置を境にして、2つ設定されているものとする。このようなレイアウトにおいて、コマ2に割り当てられているコマ画像Bを、図13B又は図13Cに示したように、時系列の推移においてコマ画像Bよりも後に存在するコマ画像Xへと差し替えるユーザ操作が行われた場合を考える。
コミック表示データ編集部105が、ユーザ操作により指定されたコマに対応付けられたコマ画像を差し替える処理を実施する場合、差し替え前のコマ画像と、差し替え後のコマ画像との時系列の関係をどのように取り扱うかに応じて、2種類の差し替え方法を実施することが可能である。すなわち、コミック表示データ編集部105は、(1)コミック表示データの基となったコンテンツ群における時系列の推移を維持しないで、コマ画像の差し替えを行う場合と、(2)コミック表示データの基となったコンテンツ群における時系列の推移を維持したままで、コマ画像の差し替えを行う場合、の2種類の処理を実施することが可能である。
コミック表示データ編集部105が、上記2種類の処理のうちどちらの処理を実施するかについては、予め初期設定等で設定しておくことも可能であるし、その都度ユーザ操作に応じてどちらの処理を行うかを決定してもよい。
コミック表示データ編集部105は、上記(1)に示したように、時系列の推移を維持しないでコマ画像を差し替える場合、単に、ユーザ操作により指定されたコマに対応付けられている画像Bを、ユーザ操作により指定されたコマ画像であるコマ画像Xに差し替えればよい。
また、コミック表示データ編集部105は、ダイジェストスコアを時系列に沿って表示している特徴量表示領域の表示と、コミック様ページレイアウトのコマ割りにおける時系列の推移との整合を取るために、図13Bに示したように、ダイジェストスコアの表示順を変更してもよい。すなわち、図13Bに示した例では、特徴量表示領域に表示されているダイジェストスコアの配置の整合を取るために、差し替え前のコマ画像Bの位置と、差し替え後のコマ画像Xの位置と、を入れ替えてもよい。
また、コミック表示データ編集部105は、上記(2)に示したように、時系列の推移を維持したままコマ画像を差し替える場合、図13Cに示したように、時系列において差し替えられたコマ画像Xよりも後に存在するコマ画像を更に利用して、コマ画像の差し替え処理を行う。すなわち、図13Cに示した場合、コミック表示データ編集部105は、ユーザ操作により指定されたコマ画像Bをコマ画像Xへと差し替える。また、コミック表示データ編集部105は、差し替え後のコマ画像Xと、コマ3に対応付けられたコマ画像との時系列の推移の整合を取る。図13Cに示した例の場合、コマ4以降は、異なる編集単位区画に属しているため、コミック表示データ編集部105は、コマ画像Xよりも後に存在し、コマ画像Dよりも前に位置するコマ画像を利用して、時系列の推移の整合を取る。その結果、コミック表示データ編集部105は、コマ3に対応づけられるコマ画像として、例えばコマ画像Yを選択する。
なお、図13Cに示した例では、コマ2及びコマ3について、コマの大きさは維持したままでコマ画像の差し替え処理が実施される場合について図示しているが、コミック表示データ編集部105は、差し替え後の画像(図13Cの場合では、画像X及び画像Y)に対応付けられたダイジェストスコアの値を利用して、編集単位区画内でコマの大きさも含めたレイアウトの再設定を実施してもよい。この場合、コミック表示データ編集部105は、コミック表示データ生成処理部103と連携しながら、コマの大きさを再設定することとなる。
図14A及び図14Bは、上記(2)に示した、時系列の推移を維持したままコマ画像を差し替える場合の処理の流れを示した流れ図である。
ユーザ操作により差し替え処理を実施するコマK及び新たなフレーム画像Xが選択されると、コミック表示データ編集部105は、差し替えるコマKをコミック表示データの中から選択する(ステップS101)とともに、新たなフレーム画像Xを選択する(ステップS103)。
続いて、コミック表示データ編集部105は、パラメータnの値が0であるかを判断する(ステップS105)。コマを特定するためのパラメータnが0ではない場合、コミック表示データ編集部105は、コマKn−iのフレーム画像A(Kn−i)と、画像Xとの時系列の関係に整合性があるかを判断する(ステップS107)。整合性がある場合には、コミック表示データ編集部105は、パラメータnが最後の値であるか否かを判断する(ステップS109)。nが最後の値であった場合、コミック表示データ編集部105は、後述するステップS113を実施する。また、nが最後の値ではなかった場合、コミック表示データ編集部105は、コマKn+iのフレーム画像C(Kn+i)と、画像Xとの時系列の関係に整合性があるかを判断する(ステップS111)。整合性がある場合には、コミック表示データ編集部105は、コマKnの画像を画像Xに差し替える(ステップS113)。これにより、ユーザ操作により指定されたコマ画像Xの差し替え処理が終了することとなる。
一方、ステップS107において、コマKn−iのフレーム画像A(Kn−i)と、画像Xとの時系列の関係に整合性がないと判断された場合、コミック表示データ編集部105は、コマに採用されておらず、かつ、コマKn−iに採用可能なフレーム画像が存在するか否かを判断する(ステップS121)。そのようなフレーム画像が存在する場合、コミック表示データ編集部105は、該当するフレーム画像をコマKn−iの画像に採用し(ステップS123)、その後、ステップS109の処理を実施する。また、コマに採用されておらず、かつ、コマKn−iに採用可能なフレーム画像が存在しない場合、コミック表示データ編集部105は、コマKn−iは削除し、コマKn−iより前の部分に対してレイアウトを変更する(ステップS125)。その後、コミック表示データ編集部105は、パラメータiの値から1を減じた後(ステップS127)、ステップS105の処理を実施する。
また、ステップS111において、コマKn+iのフレーム画像C(Kn+i)と、画像Xとの時系列の関係に整合性がないと判断された場合、コミック表示データ編集部105は、コマに採用されておらず、かつ、コマKn+iに採用可能なフレーム画像が存在するか否かを判断する(ステップS131)。そのようなフレーム画像が存在する場合、コミック表示データ編集部105は、該当するフレーム画像をコマKn+iの画像に採用し(ステップS133)、その後、ステップS113の処理を実施する。また、コマに採用されておらず、かつ、コマKn+iに採用可能なフレーム画像が存在しない場合、コミック表示データ編集部105は、コマKn+iは削除し、コマKn+iより後の部分に対してレイアウトを変更する(ステップS135)。その後、コミック表示データ編集部105は、パラメータiの値に1を加えた後(ステップS137)、ステップS109の処理を実施する。
コミック表示データ編集部105は、以上のような流れで処理を行うことで、コマ画像の差し替えという編集処理を実施することができる。
[コマの追加]
次に、図15A〜図16を参照しながら、コマの追加処理について具体的に説明する。
図15Aに例示したように、1ページに7つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像A〜コマ画像Gの7つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。
このようなレイアウトにおいて、まず、ユーザが特徴量表示領域における画像Xのダイジェストスコアを選択して、画像Xを追加する操作を行った場合を考える。換言すれば、以下で説明するコマ追加処理は、ユーザにより選択されたフレーム画像を、新たなコマとして新規にコミック様ページレイアウトに追加する編集処理である。
コミック表示データ編集部105は、上記のような状況下においてフレーム画像を追加する処理を実施する場合、図15B〜図15Dに示した3種類の方法の何れかを採用することができる。
図15Bに示したコマの追加処理では、コミック表示データ編集部105は、ユーザ操作により選択されたフレーム画像のダイジェストスコアを、少なくともコマ採用の要否を判定する際に用いられる閾値以上まで増加させた上で、再レイアウト処理を実施する。以下の説明では、図15Bに示したコミック様ページレイアウトのページ全体が、同一の編集単位区画に属しているものとする。
図15Bに示した場合、レイアウト上に存在するコマ数は7つであるため、コミック表示データ編集部105は、上記閾値以上のダイジェストスコアを有するフレーム画像を7つ選択することとなる。図15Bに示した例の場合、フレーム画像Bのダイジェストスコアは、フレーム画像Xのダイジェストスコアよりも小さな値となっているため、画像A、C、X、D、E、F、Gの7つのフレーム画像が選択されることとなる。従って、かかる場合においては、コミック表示データ編集部105は、コマ2に対応づける画像を、画像Bから画像Cへと差し替えるとともに、コマ3に対応付ける画像を、画像Cから画像Xへと差し替える。
また、図15Cに示したコマの追加処理では、コミック表示データ編集部105は、ユーザ操作により選択されたフレーム画像の直前までを第1の編集単位区画とし、ユーザ操作により選択されたフレーム画像の直後からを第2の編集単位区画として、それぞれの編集単位区画において、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。この際、コミック表示データ編集部105は、ユーザ操作により選択されたフレーム画像を、第1の編集単位区画又は第2の編集単位区画のどちらかに属するように取り扱い、レイアウトの再設定を実施する。
図15Cに示した例では、コミック表示データ編集部105は、特徴量表示領域において、フレーム画像A〜フレーム画像Xまでを第1の編集単位区画とし、フレーム画像Xの直後以降に存在するフレーム画像を、第2の編集単位区画として、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。その結果、図15C上段に示したように、第1の編集単位区画では、フレーム画像A、B、C、Xの4つの画像が選択され、それぞれに対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部103によりコマの大きさが再設定される。また、第2の編集単位区画では、コマの追加前と同様にフレーム画像D、E、F、Gの4つの画像が選択されることとなる。
図15Dに示した例では、コミック表示データ編集部105は、ユーザ操作により選択されたフレーム画像X、及び、既に選択されている7つのフレーム画像(画像A〜画像G)のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合において、図15Dの上段に示した1つのページ全体が、一つの編集単位区画に設定されているものとする。
図15Dに示した例では、コミック表示データ編集部105は、フレーム画像A、B、C、X、D、E、F、Gの8枚のフレーム画像を選択するとともに、これら8枚のフレーム画像に対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部103によりコマの大きさが再設定される。
このように、コミック表示データ編集部105は、ユーザ操作によりコマの追加が指示された場合、上記3種類の方法の何れかを用いて、コマを追加する処理を実施することができる。
また、例えば図16に示したように、ユーザ操作により、特定の画像を特定の位置に追加する旨が指定される場合も考えられる。図16に示した例では、ユーザがコマ2とコマ3との間に、フレーム画像Xを追加する操作を行った場合の処理について図示している。
この場合、ユーザ操作によりコマ2とコマ3との間にコマ画像Xを追加することが指定されているため、コミック表示データ編集部105は、特徴量表示領域における時系列の整合を取るために、コマ画像Xを、コマ画像Bとコマ画像Cとの間の任意の位置へと移動させる。その後、コミック表示データ編集部105は、図16のパターンA〜パターンCに示した3種類の方法の何れかに基づいて、フレーム画像Xを追加する処理を実施する。
図16に示したパターンAの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図15Bで説明したようなダイジェストスコアのかさ上げ処理を行って、特定のコマの位置に特定の画像を追加する処理である。
また、図16に示したパターンBの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図15Cで説明したようにユーザにより指定された画像の前後で2つの編集単位区画を設定し、各編集単位区画において、少なくともコマ画像の選択を再設定する処理である。この場合、コミック表示データ編集部105は、コマ順の並び変えを行う際に、ユーザにより指定された画像Xを、指定されたコマ間の位置に隣接するコマ(図16の場合では、コマ2及びコマ3)に対応するフレーム画像(画像B及び画像C)のほぼ中央に位置するように、コマ順の並び変えを行うことが好ましい。また、ユーザにより指定された画像は、第1の編集単位区画の最後、又は、第2の編集単位区画の先頭の何れかとなるようにすればよい。
また、図16に示したパターンCの処理は、ユーザ操作により指定されたコマ順となるようにフレーム画像の並び変えを行った後に、図15Dで説明したような、ユーザに指定された画像及び既に選択されている画像のみを利用して、レイアウトの再設定を行う処理である。
コミック表示データ編集部105は、これらパターンA〜パターンCの何れかの処理を行うことで、ユーザにより指定された画像を、ユーザにより指定された位置へ追加することができる。
[コマの削除]
次に、図17A〜図17Dを参照しながら、コマの削除処理について、具体的に説明する。
図17Aに例示したように、1ページに7つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像A〜コマ画像Gの7つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。このようなレイアウトにおいて、ユーザがコマDを選択して、選択したコマを削除する操作を行った場合を考える。
コミック表示データ編集部105は、上記のような状況下においてコマを削除する処理を実施する場合、図17B〜図17Dに示した3種類の方法の何れかを採用することができる。
図17Bに示したコマの削除処理では、コミック表示データ編集部105は、ユーザ操作により選択されたコマに対応するフレーム画像のダイジェストスコアを、少なくともコマ採用の要否を判定する際に用いられる閾値未満まで減少させた上で、再レイアウト処理を実施する。以下の説明では、図17Bに示したコミック様ページレイアウトのページ全体が、同一の編集単位区画に属しているものとする。
図17Bに示した場合において、ダイジェストスコアが閾値以上となるフレーム画像が、フレーム画像A、B、Y、C、E、F、Gの7枚存在したとすると、コミック表示データ編集部105は、これら7枚のフレーム画像をコミック様ページレイアウトに利用するコマ画像として選択する。その上で、コミック表示データ編集部105は、選択した画像のダイジェストスコアをコミック表示データ生成処理部103に出力し、コマ割りの再設定を要請する。このような処理が行われることで、図17Bの上段に示したような新たなレイアウトが生成されることとなる。
また、図17Cに示したコマの削除処理では、コミック表示データ編集部105は、ユーザ操作により選択されたフレーム画像の直前までを第1の編集単位区画とし、ユーザ操作により選択されたフレーム画像以降を第2の編集単位区画として、第1の編集単位区画又は第2の編集単位区画の何れかにおいて、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
図17Cに示した例では、コミック表示データ編集部105は、特徴量表示領域において、フレーム画像A〜フレーム画像Dの直前までを第1の編集単位区画とし、フレーム画像Dの直後以降に存在するフレーム画像を、第2の編集単位区画として、何れか一方の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
第2の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定が実施されたものとする。その場合、図17Cに示したダイジェストスコアにおいて、フレーム画像E、F、G、Hの4枚の画像が閾値以上のダイジェストスコアを有していたとすると、コミック表示データ編集部105は、これら4枚のフレーム画像をコマ画像として選択する。その上で、コミック表示データ編集部105は、選択した画像のダイジェストスコアをコミック表示データ生成処理部103に出力し、コマ割りの再設定を要請する。このような処理が行われることで、図17Cの上段に示したような新たなレイアウトが生成されることとなる。
図17Dに示した例では、コミック表示データ編集部105は、既に選択されている7つのフレーム画像(画像A〜画像G)から、ユーザ操作により選択されたフレーム画像を除いたうえで、これらのフレーム画像のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合において、図17Dの上段に示した1つのページ全体が、一つの編集単位区画に設定されているものとする。
図17Dに示した例では、コミック表示データ編集部105は、フレーム画像A、B、C、E、F、Gの6枚のフレーム画像を選択するとともに、これら6枚のフレーム画像に対応付けられたダイジェストスコアの値に応じて、コミック表示データ生成処理部103によりコマの大きさが再設定される。
このように、コミック表示データ編集部105は、ユーザ操作によりコマの削除が指示された場合、上記3種類の方法の何れかを用いて、コマを削除する処理を実施することができる。
[コマ形状の変更]
次に、図18A〜図18Cを参照しながら、コマ形状の変更処理について、具体的に説明する。
図18Aに例示したように、1ページに7つのコマが存在するレイアウトがコミック表示データ中に存在しており、各コマにコマ画像A〜コマ画像Gの7つのフレーム画像が割り当てられている場合に着目する。また、このレイアウトに対応付けられているフレーム画像は、以下に示したようなダイジェストスコアを有しているものとする。このようなレイアウトにおいて、ユーザがコマDを選択して、選択したコマの形状を変更する操作を行った場合を考える。
なお、以下の説明では、ユーザがコマDの大きさを拡大するユーザ操作を行った場合について説明を行うが、コミック表示データ編集部105は、コマの大きさを縮小するユーザ操作が行われた場合であっても同様に処理を行うことが可能である。
ここで、ユーザは、コマの形状を変更する際に、例えば、コマの頂点の何れかを指定してドラッグ操作を行うことで変更後のコマの形状を指定することができる。また、ユーザは、コマの各頂点の座標を数値で指定してもよい。このように、変更後のコマの形状をユーザが指定する方法は特に限定されるわけではなく、公知のあらゆる方法を適用することが可能である。
コミック表示データ編集部105は、上記のような状況下においてコマの形状を変更する処理を実施する場合、図18B又は図18Cに示した2種類の方法の何れかを採用することができる。
図18Bに示したコマ形状の変更処理では、コミック表示データ編集部105は、ユーザ操作によりコマ形状が変更されたコマに対応付けられているフレーム画像の直前までを第1の編集単位区画とし、形状が変更されたコマに対応するフレーム画像以降を第2の編集単位区画として、第1の編集単位区画又は第2の編集単位区画の何れかにおいて、コマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
図18Bに示した例では、コミック表示データ編集部105は、特徴量表示領域において、フレーム画像A〜フレーム画像Dの直前までを第1の編集単位区画とし、フレーム画像Dの直後以降に存在するフレーム画像を、第2の編集単位区画として、何れか一方の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定を実施する。
第2の編集単位区画でコマ割り及びコマに対応づけられるフレーム画像の再設定が実施されたものとする。この際、ユーザによって指定されたコマDの大きさは、ユーザの意図を反映したものであるため、コミック表示データ編集部105は、図18B上段に示したレイアウトのうちコマDの右側に位置する領域(図18B上段の図において、点線で囲った領域)を利用して、特徴量表示領域における第2の編集単位区画から選択された画像を配置する処理を実施する。
この場合に、コミック表示データ編集部105は、例えば、利用可能なレイアウト領域の大きさと、特徴量表示領域における第2の編集単位区画に存在するフレーム画像のダイジェストスコアとをコミック表示データ生成処理部103に出力し、再レイアウト処理を要請する。その後、コミック表示データ編集部105は、コミック表示データ生成処理部103による再レイアウト処理の結果に応じて、現在のコミック表示データを編集する。このような処理が行われることで、例えば図18Bの上段に示したような新たなレイアウトが生成されることとなる。
図18Cに示した例では、コミック表示データ編集部105は、既に選択されている7つのフレーム画像(画像A〜画像G)のみを利用して、時系列の推移を維持しながらレイアウトの再設定を行う。この場合においても、ユーザによって指定されたコマDの大きさは、ユーザの意図を反映したものであるため、コミック表示データ編集部105は、図18C上段に示したレイアウトのうち、コマDを除いた領域を利用して、レイアウトの再設定を実施する。この場合において、図18Cの上段に示した1つのページ全体が、一つの編集単位区画に設定されているものとする。
図18Cに示した例では、コミック表示データ編集部105は、フレーム画像A、B、C、D、E、F、Gの7枚のフレーム画像を選択するとともに、これら7枚のフレーム画像に対応付けられたダイジェストスコアの値及びコマDを除いたレイアウト領域の大きさに応じて、コミック表示データ生成処理部103によりコマの大きさが再設定される。その結果、図18Cの上段に示したようなレイアウトが生成されることとなる。
このように、コミック表示データ編集部105は、ユーザ操作によりコマの形状の変更が指示された場合、上記2種類の方法の何れかを用いて、コマ形状を変更する処理を実施することができる。
[コマ画像の表示領域(クロップ領域)の変更]
次に、図19を参照しながら、コマに対応付けられたフレーム画像のうちコマの内部に表示される領域(クロップ領域)の変更処理について、具体的に説明する。
本実施形態に係るコミック表示データでは、コマに対応付けられたフレーム画像は、画像全体がコマ内に表示されるように対応付けられる場合もあり、フレーム画像の一部のみがコマ内に表示されるように対応付けられる場合もある。コミック表示データ編集部105は、ユーザ操作に応じて、コマ内に表示される画像の表示領域(クロップ領域)を編集することができる。
ユーザ操作により、プレビュー表示領域に記載されているあるコマが選択されると、図19に例示したように、画像表示領域にはユーザにより選択されたコマのサムネイル画像が表示される。この際、フレーム画像の全域がコマ内に表示されていない場合には、プレビュー表示領域には、図19に例示したように、コマ内に表示されている画像の部分が、枠で囲まれて強調されている。
そこで、コミック表示データ編集部105は、ユーザ操作により、クロップ領域を示す枠囲いの大きさや位置が変更となった場合に、コマ内に表示させる画像領域をユーザ操作に追随させる。これにより、コミック表示データ編集部105は、コマ内に表示される画像の領域をユーザ操作に応じて編集することができる。
なお、図19では、ユーザが枠囲いを編集することでクロップ領域を指定する場合について図示しているが、ユーザは、座標を指定することで、クロップ領域を特定することも可能である。
[コマへのエフェクトの追加/削除]
次に、図20を参照しながら、コマへのエフェクトの追加処理、及び、コマからのエフェクトの削除処理について、具体的に説明する。
本実施形態に係る情報処理装置10では、コミック表示データにおけるページレイアウトの任意の箇所に、図6や図7に示したような、吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトを追加することが可能である。同様に、本実施形態に係る情報処理装置10では、既に配置されているエフェクトオブジェクトを、ページレイアウトの中から削除することも可能である。
この際、本実施形態に係る情報処理装置10では、各ページレイアウトにおけるエフェクトオブジェクトの配置位置を、座標に基づいて管理している。エフェクトオブジェクトの配置位置を表す座標系は、例えば、各ページレイアウトの左上に位置する点を原点とする絶対座標系であってもよいし、エフェクトオブジェクトを含むコマとの相対的な位置を表す座標系であってもよい。エフェクトオブジェクトを絶対座標系と相対座標系のどちらで管理するかについては、ユーザが適宜指定することが可能である。
例えば図20左側に示したようなページレイアウトが存在し、ユーザ操作によりコマ5にエフェクトオブジェクトZが追加された場合を考える。この場合、エフェクトオブジェクトZの位置は、コマ1の左上の頂点を基準とする絶対座標系で表記されていてもよく、コマ5に対応付けられた画像に対する相対位置で表記されていてもよい。
図20左側に示したようなコミック様ページレイアウトにおいて、更なるユーザ操作により、図20右側に示したようにコマDを拡大する指示がなされた場合を考える。この際、エフェクトオブジェクトの位置が絶対座標系に基づいて管理されている場合には、コミック表示データ編集部105は、ユーザにより行われたユーザ操作に関わらず、エフェクトオブジェクトZの位置を変更しない。一方、エフェクトオブジェクトの位置がコマに対する相対位置として管理されている場合には、エフェクトオブジェクトが関連付けられたコマの座標系を維持しながら、新たにエフェクトオブジェクトZが再設定されることとなる。
また、コミック表示データ編集部105は、ユーザ操作に応じて、エフェクトオブジェクトが関連付けられているコマをページレイアウト内から削除することとなった場合、エフェクトオブジェクトの位置が絶対座標系に基づいて管理されている場合には、エフェクトオブジェクトは影響を受けないが、コマに対する相対位置として管理されている場合には、コマの削除にあわせてエフェクトオブジェクトもレイアウト上から削除する。
なお、上記説明では、コマ形状の変更処理を例に挙げて説明を行ったが、コマ画像の差し替え、コマの追加又は削除、クロップ領域の変更といった編集処理においても、コミック表示データ編集部105は、同様の処理を実施する。
[レイアウト全体に対してのテーマの選択・変更]
次に、図21を参照しながら、レイアウト全体に対してのテーマの選択・変更処理について簡単に説明する。
コミック表示データ編集部105は、既に生成されているコミック表示データのページ背景やコマ形状を、図21に示したように、予め設定されている各種のテンプレートに従って変更することができる。図21に示したように、各コマの形状は矩形状に限定されるわけではなく、任意の形状であってもよい。
コミック表示データ編集部105は、ユーザ操作によりページ背景を含むコマ割りテンプレートが選択されると、選択されたテンプレートのコマ形状に従って、生成されているコミック表示データのコマ形状にマスク処理を行う。その結果、図21左側に示したようなページレイアウトが、図21右側に示したようなページレイアウトへと変更されることとなる。
以上、図13〜図21を参照しながら、本実施形態に係るコミック表示データ編集部105の機能について、具体的に説明した。
再び図11に戻って、コミック表示実行部107について説明する。
コミック表示実行部107は、例えば、CPU、ROM、RAM等により実現される。コミック表示実行部107は、コミック表示データ生成部103により生成されたコミック表示データや、コミック表示データ編集部105による編集処理後のコミック表示データを実行するためのアプリケーションを実行することで、例えば図8〜図10に示したようなコミック表示を実行する。コミック表示データを実行するためのアプリケーションは、図2〜図10に示したようなコミック表示用の専用アプリケーションであってもよく、Webブラウザのような一般的なアプリケーションであってもよい。コミック表示実行部107は、コミック表示データを実行し、表示制御部109を介してコミック表示をディスプレイ等の表示部(図示せず。)に表示させる。
表示制御部109は、例えば、CPU、ROM、RAM、出力装置、通信装置等により実現される。表示制御部109は、記憶部111等に格納されている表示画面に表示すべき内容に対応するデータを取得して、表示画面に表示する。また、情報処理装置10に備えられたマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置から、ポインタ等の位置選択オブジェクトの移動を表す信号が伝送された場合には、表示制御部109は、伝送された信号にあわせて位置選択オブジェクトの移動を表示画面に表示させる。また、表示制御部107は、コミック表示データ生成処理部103、コミック表示データ編集部105及びコミック表示実行部107から、表示画面に表示されている表示内容の変更を要請された場合には、これらの処理部からの要請に基づき表示画面に表示されている表示内容の変更を行なう。
また、本実施形態に係る表示制御部109は、情報処理装置10に設けられたディスプレイ等の表示装置だけでなく、情報処理装置10に直接接続された、又は、各種のネットワークを介して接続された各種の表示装置の表示制御を行うことも可能である。これにより、本実施形態に係る表示制御部109は、情報処理装置10の外部に設けられた表示装置の表示制御を実現することが可能となる。
記憶部111は、例えば、RAMやストレージ装置等により実現される。記憶部111には、記憶部111には、表示画面に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース(GUI)を構成する任意のパーツ類が含まれる。また、記憶部111には、本実施形態に係る情報処理装置10が、図2〜図10に示したようなアプリケーションを含む各種のプログラム、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベース等が、適宜記録されてもよい。更に、記憶部111には、ビデオカメラや携帯電話等で撮影された動画データやTVコンテンツ等の動画コンテンツ等の各種の動画データや、デジタルスチルカメラや携帯電話等で撮影された静止画データが格納されていてもよい。
この記憶部111は、コンテンツデータ取得部101、コミック表示データ生成処理部103、コミック表示データ編集部105、表示制御部107、コミック表示実行部109等の各処理部が、自由にアクセスし、データを書き込んだり読み出したりすることができる。
以上、本実施形態に係る情報処理装置10の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<第1変形例>
図11に示したコンテンツデータ取得部101、コミック表示データ生成処理部103、コミック表示データ編集部105、コミック表示実行部107、表示制御部109及び記憶部111の機能は、それぞれのハードウェアがネットワークを介して互いに情報を送受信できるならば、いずれのハードウェアに実装されてもよい。また、ある処理部により実施される処理が、1つのハードウェアにより実現されてもよいし、複数のハードウェアによる分散処理により実現されてもよい。
例えば図22は、本実施形態に係る情報処理装置10の機能が、ネットワークを介して相互に通信可能な、コミック表示データ処理サーバ20、データ管理サーバ30及びユーザ操作端末40に分散して実現されている場合における情報処理システムを示している。
コミック表示データ処理サーバ20は、後述するユーザ操作端末40からの要請に応じて、コミック表示データの生成処理を実施して、生成したコミック表示データをユーザ操作端末40に提供する。また、コミック表示データ処理サーバ20は、既に生成されているコミック表示データを、後述するデータ管理サーバ30から取得し、ユーザ操作端末40から出力されるユーザ操作に関するユーザ操作情報に基づいて、コミック表示データの編集処理を実施する。
このコミック表示データ処理サーバ20は、コンテンツデータ取得部201と、コミック表示データ生成処理部203と、コミック表示データ編集部205と、を主に備える。
ここで、コンテンツデータ取得部201及びコミック表示データ生成処理部203は、第1の実施形態に係る情報処理装置10が備えるコンテンツデータ取得部101及びコミック表示データ生成処理部103と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
また、本変形例に係るコミック表示データ編集部205は、コミック表示データ生成処理部203が生成したコミック表示データや、データ管理サーバ30に格納されているコミック表示データや、ユーザ操作端末40が保持しているコミック表示データに対して、ユーザ操作端末40から送信されるユーザ操作情報に基づいて編集処理を実施する以外は、第1の実施形態に係る情報処理装置10が備えるコミック表示データ編集部105と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
データ管理サーバ30は、図22に示したように、コミック表示データ処理サーバ20により生成されたコミック表示データを格納する記憶部301を主に備える。データ管理サーバ30は、インターネット等のネットワークを介して接続されている1又は複数のコミック表示データ処理サーバ20やユーザ操作端末40からコミック表示データの提供を要請された場合に、要請のあったコミック表示データを要請のあった装置に対して出力する。
ユーザ操作端末40は、図22に示したように、コミック表示データ提供要請部401と、ユーザ操作情報出力部403と、コミック表示実行部405と、表示制御部407と、を主に備える。
コミック表示データ提供要請部401は、コミック表示データ処理サーバ20やデータ管理サーバ30に対して、コミック表示データの提供を要請する。また、コミック表示データ提供要請部401は、既に生成されているコミック表示データに対する編集処理を、コミック表示データ処理サーバ20に対して要請する。
コミック表示データ処理サーバ20やデータ管理サーバ30から、所望のコミック表示データが提供されると、コミック表示データ提供要請部401は、取得したコミック表示データを、後述するコミック表示実行部405に出力する。
ユーザ操作情報出力部403は、ユーザ操作端末40が備えるマウス、キーボード、タッチパネル、ジェスチャー入力装置、視線入力装置等の入力装置に対してユーザが行った操作(ユーザ操作)を表す情報を、ユーザ操作情報として出力する。ユーザ操作情報出力部403が、かかるユーザ操作情報をコミック表示データ処理サーバ20に出力することで、コミック表示データ処理サーバ20のコミック表示データ編集部205は、ユーザの求めるコミック表示データの編集処理を実施することができる。
本変形例に係るコミック表示実行部405及び表示制御部407は、第1の実施形態に係る情報処理装置10が備えるコミック表示実行部107及び表示制御部109と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
以上、図22を参照しながら、第1の実施形態に係る情報処理装置10の第1変形例に関して、簡単に説明した。
(ハードウェア構成について)
次に、図23を参照しながら、本開示の実施形態に係る情報処理装置10のハードウェア構成について、詳細に説明する。図23は、本開示の実施形態に係る情報処理装置10のハードウェア構成を説明するためのブロック図である。
情報処理装置10は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置10は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インターフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、ジェスチャー入力装置、視線入力装置などユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置10の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置10のユーザは、この入力装置915を操作することにより、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、プロジェクタおよびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、情報処理装置10が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置10が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置10は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に直接各種のデータを提供したりする。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置10の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本開示の実施形態に係る情報処理装置及び情報処理方法では、動画や静止画からなるコンテンツから生成された、画像がコミック風のコマ割りレイアウトに割り当てられたダイジェストコンテンツに対して、簡単なインタラクションでコマ割りレイアウトやコマのエフェクト等を編集することが可能となる。
また、本開示の実施形態に係る情報処理装置では、生成されたダイジェストコンテンツを基に、コマの追加や削除、領域の編集、エフェクトの編集といった、ダイジェストコンテンツの編集作業を、ユーザが容易に行うことが可能な、ユーザインタフェースを提供することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理部を備える、情報処理装置。
(2)
前記表示領域は、1又は複数の編集単位区画に区画されており、
前記編集処理部は、前記表示領域内の一のコマ又は相隣接する前記コマ間に対して、前記コマ割り又はコマへの画像の配置に関する前記ユーザ操作が行われた場合、当該ユーザ操作が行われた前記コマ又は前記コマ間が属する前記編集単位区画内で、前記コマ割り又は前記コマへの画像の配置を再設定する、(1)に記載の情報処理装置。
(3)
前記編集処理部は、前記ユーザ操作に応じて、前記コマに配置された前記画像の差し替え、前記コマの追加もしくは削除、前記コマの形状の変更、前記コマに配置された前記画像の当該コマでの表示範囲の変更、又は、前記表示領域内に対する吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトの追加もしくは削除を実施する、(1)又は(2)に記載の情報処理装置。
(4)
前記編集処理部は、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列の推移を維持しつつ、前記画像の差し替え、前記コマの追加もしくは削除、又は、前記コマの形状の変更を実施する、(3)に記載の情報処理装置。
(5)
前記編集処理部は、前記ユーザ操作に応じて、前記コマの追加又は削除を行う際に、当該コマに対応付けられた前記画像を特徴づける特徴量の大きさを変化させた上で、前記表示領域に含まれる前記コマ割りを、前記特徴量に基づいて再設定する、(3)に記載の情報処理装置。
(6)
前記編集処理部は、
前記ユーザ操作に応じて、前記コマの追加もしくは削除、又は、前記コマ形状の変更を行う際に、前記表示領域内に存在する前記コマに対応付けられた画像を、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列において当該ユーザ操作に対応する前記コマよりも先駆する前記画像群と、後続する前記画像群と、に区分し、
前記先駆する画像群を第1の前記編集単位区画とするとともに、前記後続する画像群を第2の前記編集単位区画として、それぞれの前記編集単位区画に基づいて処理を実施する、(3)に記載の情報処理装置。
(7)
前記コンテンツに基づいて前記ダイジェストコンテンツを生成する生成処理部を更に備え、
前記編集処理部は、前記生成処理部と連携しつつ、前記ユーザ操作に応じて前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを編集する、(1)〜(6)の何れか1つに記載の情報処理装置。
(8)
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集することを含む、情報処理方法。
(9)
コンピュータに、
静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかをユーザ操作に応じて編集する編集処理機能
を実現させるためのプログラム。
10 情報処理装置
101 コンテンツデータ取得部
103 コミック表示データ生成処理部
105 コミック表示データ編集部
107 コミック表示実行部
109 表示制御部
111 記憶部

Claims (13)

  1. 静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記画像を特徴づける特徴量をユーザが変化させるユーザ操作に応じて、前記ダイジェストコンテンツを編集し、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを再設定する編集処理部を備える、情報処理装置。
  2. 前記ユーザ操作は、前記特徴量の時系列を変化させる操作、又は、前記特徴量の大きさを変化させる操作の少なくとも何れかである、請求項1に記載の情報処理装置。
  3. 前記編集処理部は、前記特徴量の大きさを変化させる前記ユーザ操作に応じて、前記コマの追加又は削除を実施する、請求項2に記載の情報処理装置。
  4. 前記編集処理部は、前記特徴量の時系列を変化させる前記ユーザ操作に応じて、前記コマに配置された前記画像の差し替えを実施する、請求項2に記載の情報処理装置。
  5. 前記コンテンツと前記特徴量とを互いに関連付けて、時系列で表示させる表示制御部を更に備える、請求項1〜4の何れか1項に記載の情報処理装置。
  6. 前記編集処理部は、前記表示制御部により表示されている前記特徴量を変化させる前記ユーザ操作に応じて処理を実施する、請求項5に記載の情報処理装置。
  7. 前記編集処理部は、前記ダイジェストコンテンツに対するユーザ操作に応じて、前記コマの形状の変更、前記コマに配置された前記画像の当該コマでの表示範囲の変更、又は、前記表示領域内に対する吹き出し及び画面効果の少なくとも何れかを含むエフェクトオブジェクトの追加もしくは削除を実施する、請求項に記載の情報処理装置。
  8. 前記表示領域は、1又は複数の編集単位区画に区画されており、
    前記編集処理部は、前記表示領域内の一のコマ又は相隣接する前記コマ間に対して、前記コマ割り又はコマへの画像の配置に関する前記ユーザ操作が行われた場合、当該ユーザ操作が行われた前記コマ又は前記コマ間が属する前記編集単位区画内で、前記コマ割り又は前記コマへの画像の配置を再設定する、請求項1〜7の何れか1項に記載の情報処理装置。
  9. 前記編集処理部は、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列の推移を維持しつつ、前記画像の差し替え、前記コマの追加もしくは削除、又は、前記コマの形状の変更を実施する、請求項に記載の情報処理装置。
  10. 前記編集処理部は、
    前記ユーザ操作に応じて、前記コマの追加もしくは削除、又は、前記コマの形状の変更を行う際に、前記表示領域内に存在する前記コマに対応付けられた画像を、前記コンテンツでの時間の流れ又は当該コンテンツでの前記画像の並び順の少なくとも何れかに関する時系列において当該ユーザ操作に対応する前記コマよりも先駆する画像群と、後続する画像群と、に区分し、
    前記先駆する画像群を第1の前記編集単位区画とするとともに、前記後続する画像群を第2の前記編集単位区画として、それぞれの前記編集単位区画に基づいて処理を実施する、請求項に記載の情報処理装置。
  11. 前記コンテンツに基づいて前記ダイジェストコンテンツを生成する生成処理部を更に備え、
    前記編集処理部は、前記生成処理部と連携しつつ、前記ユーザ操作に応じて前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを編集する、請求項1〜10の何れか1項に記載の情報処理装置。
  12. 静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記画像を特徴づける特徴量をユーザが変化させるユーザ操作に応じて、前記ダイジェストコンテンツを編集し、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを再設定することを含む、情報処理方法。
  13. コンピュータに、
    静止画又は動画の少なくとも何れかを含むコンテンツに基づいて生成され、当該コンテンツから抽出された画像が、コマ割りされた表示領域に漫画的に配置されたダイジェストコンテンツについて、前記画像を特徴づける特徴量をユーザが変化させるユーザ操作に応じて、前記ダイジェストコンテンツを編集し、前記コマ割り又はコマへの前記画像の配置の少なくとも何れかを再設定する編集処理機能
    を実現させるためのプログラム。
JP2011216582A 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP5817400B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011216582A JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム
US13/589,440 US10380773B2 (en) 2011-09-30 2012-08-20 Information processing apparatus, information processing method, and computer readable medium
CN2012103572376A CN103197850A (zh) 2011-09-30 2012-09-21 信息处理设备、信息处理方法和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011216582A JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013077982A JP2013077982A (ja) 2013-04-25
JP2013077982A5 JP2013077982A5 (ja) 2014-10-16
JP5817400B2 true JP5817400B2 (ja) 2015-11-18

Family

ID=47993840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011216582A Expired - Fee Related JP5817400B2 (ja) 2011-09-30 2011-09-30 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10380773B2 (ja)
JP (1) JP5817400B2 (ja)
CN (1) CN103197850A (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US20140201248A1 (en) * 2013-01-16 2014-07-17 Myongji University Industry And Academia Cooperation Foundation Method and apparatus for representing bubble effect using metadata
JP2014219841A (ja) * 2013-05-08 2014-11-20 住友電工ネットワークス株式会社 操作入力装置および操作入力プログラム
US20150212654A1 (en) * 2014-01-28 2015-07-30 Comikka, Inc. Architecture for providing dynamically sized image sequences
USD763267S1 (en) * 2014-03-14 2016-08-09 Dacadoo Ag Display panel portion with a graphical user interface component
US9933922B2 (en) * 2014-03-27 2018-04-03 Sybase, Inc. Child container control of parent container of a user interface
CN105631914A (zh) * 2014-10-31 2016-06-01 鸿富锦精密工业(武汉)有限公司 漫画创作系统及方法
KR102306538B1 (ko) * 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
KR101616671B1 (ko) 2015-02-03 2016-04-28 네이버 주식회사 인터넷 만화 컨텐츠의 유통을 위한 방법과 시스템 및 기록 매체
KR101650153B1 (ko) 2015-03-19 2016-08-23 네이버 주식회사 만화 데이터 편집 방법 및 만화 데이터 편집 장치
CN104881844B (zh) * 2015-06-29 2017-12-29 北京金山安全软件有限公司 一种图片组合的方法、装置以及终端设备
CN104991733A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种图片处理方法及移动终端
CN105608725A (zh) * 2015-12-30 2016-05-25 联想(北京)有限公司 一种图像处理方法及电子设备
JP2017167433A (ja) * 2016-03-17 2017-09-21 株式会社東芝 サマリ生成装置、サマリ生成方法及びサマリ生成プログラム
CN106095250B (zh) * 2016-07-29 2019-12-27 维沃移动通信有限公司 应用程序图标布局的方法及移动终端
KR101950420B1 (ko) * 2016-08-12 2019-05-10 네이버 주식회사 만화 데이터 생성 장치, 방법, 컴퓨터 프로그램
US11249713B2 (en) * 2017-01-27 2022-02-15 Adobe Inc. Online conference collaboration by leveraging a plurality of client devices
JP6469789B1 (ja) * 2017-09-13 2019-02-13 株式会社インフォシティ 電子コミック書籍ダイジェスト生成装置および方法
JP2019133605A (ja) * 2018-02-02 2019-08-08 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2021009608A (ja) * 2019-07-02 2021-01-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112819685B (zh) * 2019-11-15 2022-11-04 青岛海信移动通信技术股份有限公司 一种图像的风格模式推荐方法和终端
JP6833189B1 (ja) * 2020-04-17 2021-02-24 株式会社セルシス 電子書籍のコンテンツ生成方法及びプログラム
CN112818146B (zh) * 2021-01-26 2022-12-02 山西三友和智慧信息技术股份有限公司 一种基于产品图像风格的推荐方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3331291B2 (ja) * 1996-03-29 2002-10-07 日本電信電話株式会社 映像情報編集装置
US7325198B2 (en) * 2002-12-31 2008-01-29 Fuji Xerox Co., Ltd. Calendar-based interfaces for browsing and manipulation of digital images
CA2628846A1 (en) * 2005-08-09 2007-02-15 Zalag Corporation Methods and apparatuses to assemble, extract and deploy content from electronic documents
US8301999B2 (en) * 2006-09-25 2012-10-30 Disney Enterprises, Inc. Methods, systems, and computer program products for navigating content
KR100898454B1 (ko) * 2006-09-27 2009-05-21 야후! 인크. 통합 검색 서비스 시스템 및 방법
JP2009065462A (ja) * 2007-09-06 2009-03-26 Toshiba Corp 映像を要約する装置、方法およびプログラム
JP5326910B2 (ja) * 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8073657B2 (en) * 2009-03-03 2011-12-06 Igt 3-D casino gaming floor visualization utilizing real-time and batch data
US20100315315A1 (en) * 2009-06-11 2010-12-16 John Osborne Optimal graphics panelization for mobile displays
JP2011118833A (ja) * 2009-12-07 2011-06-16 Sony Corp マンガ作成装置、マンガ作成方法及びマンガ作成プログラム
US20120013640A1 (en) * 2010-07-15 2012-01-19 Academia Sinica Graphical representation of events
CN102737362B (zh) * 2011-04-01 2015-07-08 国基电子(上海)有限公司 具漫画图像分割功能的电子装置及方法
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
US20130318424A1 (en) * 2012-05-28 2013-11-28 Ian A. R. Boyd System and method for the creation of an e-enhanced multi-dimensional pictostory using pictooverlay technology
US9286668B1 (en) * 2012-06-18 2016-03-15 Amazon Technologies, Inc. Generating a panel view for comics

Also Published As

Publication number Publication date
US10380773B2 (en) 2019-08-13
US20130086458A1 (en) 2013-04-04
JP2013077982A (ja) 2013-04-25
CN103197850A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5817400B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8701008B2 (en) Systems and methods for sharing multimedia editing projects
US8819559B2 (en) Systems and methods for sharing multimedia editing projects
JP4853510B2 (ja) 情報処理装置、表示制御方法およびプログラム
US10515143B2 (en) Web-based system for capturing and sharing instructional material for a software application
US8726153B2 (en) Multi-user networked digital photo display with automatic intelligent organization by time and subject matter
JP6217645B2 (ja) 情報処理装置、再生状態制御方法及びプログラム
JP2007533271A (ja) テレビジョン・ニュースのためのオーディオビジュアル作業および対応するテキストの編集システム
JPWO2009020103A1 (ja) 映像データ編集のためのインターフェースシステム
US20170243611A1 (en) Method and system for video editing
JP2008250899A (ja) コンテンツ再生方法、コンテンツ再生システム、コンテンツ再生プログラム及びコンテンツ再生プログラムを記録した媒体
KR20140043359A (ko) 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램 제품
JP4555214B2 (ja) 情報提示装置、情報提示方法、情報提示プログラム及び情報記録媒体
JP6103962B2 (ja) 表示制御装置及びその制御方法
JP2007267356A (ja) ファイル管理プログラム、サムネイル画像表示方法および動画再生装置
WO2020201297A1 (en) System and method for performance-based instant assembling of video clips
CN113901776A (zh) 音频交互方法、介质、装置和计算设备
JP4674726B2 (ja) ファイルの管理方法および情報処理装置
JP2011193386A (ja) 電子機器及び画像処理方法
US12056338B2 (en) Systems, methods, and user interfaces for editing digital assets
US20240353989A1 (en) Systems, methods, and user interfaces for editing digital assets
JP2011150568A (ja) 生産準備活動プログラム
KR101939806B1 (ko) 터치 감응식 유저 인터페이스에서의 동영상 구간탐색을 위한 컴퓨터 구현방법 및 사용자 단말장치
JP2006048151A (ja) コンテンツ閲覧システム、コンテンツサーバ、プログラムおよび記憶媒体
KR101775626B1 (ko) 판서 녹화 및 재생 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5817400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees