JP7225460B1 - 情報処理システム、データ加工方法、及びコンピュータプログラム - Google Patents
情報処理システム、データ加工方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7225460B1 JP7225460B1 JP2022102038A JP2022102038A JP7225460B1 JP 7225460 B1 JP7225460 B1 JP 7225460B1 JP 2022102038 A JP2022102038 A JP 2022102038A JP 2022102038 A JP2022102038 A JP 2022102038A JP 7225460 B1 JP7225460 B1 JP 7225460B1
- Authority
- JP
- Japan
- Prior art keywords
- scene
- moving image
- cropping
- displayed
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000004590 computer program Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 35
- 239000000463 material Substances 0.000 description 50
- 238000011156 evaluation Methods 0.000 description 27
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 12
- 238000013210 evaluation model Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
合した動画データを生成するように構成される。
法は、動画データを取得することと、動画データに含まれる動画像と共に再生される音声情報及び文字情報の少なくとも一方に基づき、動画像が有する複数のシーンに関して、シーン毎に、対応するシーンの動画像であるシーン動画像の中から、表示対象のオブジェクトを選択することと、シーン毎に、シーン動画像に対するクロッピング領域を、表示対象のオブジェクトを基準に設定することと、シーン毎に、シーン動画像におけるクロッピング領域の外側に位置する画像領域を取り除くようにシーン動画像をクロッピングすることにより、クロッピングされたシーン動画像を生成することと、加工済動画データとして、シーン毎のクロッピングされたシーン動画像を結合した動画データを生成することと、を含み得る。
[第一実施形態]
図1に示す本実施形態の情報処理システム10は、入力された動画データに基づき、動画像のアスペクト比を1:1に変更した動画データを出力するように構成されるシステムである。
11は、シーン動画像を構成するフレーム毎に、そこに写る注目タイプの各オブジェクトの表示面積を算出する(S320)。
を合わせると、クロッピング領域Rcの一部が、シーン動画像の領域から外側にはみ出してしまう。この場合、クロッピング領域Rcは、クロッピング領域Rcの全体が、シーン動画像の領域内に収まる範囲で、人の表示領域の中心に最も近い位置にクロッピング領域Rcの中心が配置されるように、設定される。
11は、クロッピング後のシーン動画像に収まるように、素材の位置を修正しながら、素材を自動配置することができる。素材は、クロッピング後の動画像において、クロッピング前の動画像と同時刻に表示されるように配置される。プロセッサ11は、所定の評価モデルに従って、評価値が最も高い位置に素材を配置するように、素材をクロッピング後のシーン動画像に配置してもよい。
第二実施形態の情報処理システム10は、プロセッサ11がS150において、図4に示す領域設定処理に代えて、図8に示す領域設定処理を実行することを除けば、第一実施形態と同様に構成される。以下では、第二実施形態の情報処理システム10に関する説明として、プロセッサ11がS150で実行する領域設定処理の詳細を説明し、その他の説明を省略する。
11は、シーン動画像に写る注目タイプの各オブジェクトのシーン全期間における表示領域及び表示量としてのシーン表示領域及びシーン表示量を判別する(S420)。
第三実施形態の情報処理システム10は、プロセッサ11が図3に示す動画リサイズ処理に代えて、それとは部分的に内容が異なる図9Aに示す動画リサイズ処理を実行することを除けば、基本的に、第一実施形態と同様に構成される。
基づき、クロッピング領域Rcの設定基準として用いるべきオブジェクトのタイプである注目タイプを指定する。
この場合、プロセッサ11は、図11Aに例示される動画像に含まれるオブジェクトの一群のうち、「自動車」として検出されたオブジェクトの一群の中から、表示対象オブジェクトを選択する。これにより、訴求目的に対応する自動車を主に残すように、クロッピングは行われ、動画データは、アスペクト比1:1の動画データに変換される。
及び文字情報の両方を用いて、S115,S125の処理を実行してもよい。
第四実施形態の情報処理システム10は、プロセッサ11がS150において、図4に示す領域設定処理に代えて、図12に示す領域設定処理を実行することを除けば、第一実施形態と同様に構成される。以下では、第四実施形態の情報処理システム10に関する説明として、プロセッサ11がS150で実行する領域設定処理の詳細を説明し、その他の説明を省略する。
第五実施形態の情報処理システム10は、プロセッサ11がS150において、図4に示す領域設定処理に代えて、図13に示す領域設定処理を実行することを除けば、第一実施形態と同様に構成される。以下では、第五実施形態の情報処理システム10に関する説明として、プロセッサ11がS150で実行する領域設定処理の詳細を説明し、その他の説明を省略する。
第六実施形態の情報処理システム10は、プロセッサ11がS150において、図4に示す領域設定処理に代えて、図14に示す領域設定処理を実行することを除けば、第一実施形態と同様に構成される。以下では、第六実施形態の情報処理システム10に関する説明として、プロセッサ11がS150で実行する領域設定処理の詳細を説明し、その他の説明を省略する。
本開示は、上述した実施形態に限定されるものではなく、種々の態様を採ることができる。例えば、情報処理システム10は、S150の処理により設定されたクロッピング領域Rcを、ユーザ端末装置50を通じてユーザに向けて表示し、クロッピング領域Rcの修正操作を、ユーザ端末装置50を通じて受け付けてもよい。そして、修正されたクロッピング領域Rcと、修正前のクロッピング領域Rcとの差に基づいて、クロッピング領域Rcの設定方法を修正してもよい。
を、ユーザ端末装置50を通じてユーザから受け付けて(S820)、その修正操作に従ってクロッピング領域Rcを修正する(S830)。プロセッサ11は更に、修正後のクロッピング領域Rcを正解とする教師データに基づき、機械学習モデルを更新する(S840)。
用語間の対応関係は次の通りである。プロセッサ11が実行するS110の処理は、取得部によって実現される処理の一例に対応する。プロセッサ11が実行するS150の処理は、選択部及び設定部によって実現される処理の一例に対応する。プロセッサ11が実行するS160の処理は、加工部によって実現される処理の一例に対応する。プロセッサ11が実行するS210の処理は、生成部によって実現される処理の一例に対応する。
Claims (8)
- 動画データを取得するように構成される取得部と、
前記動画データに含まれる動画像と共に再生される音声情報及び文字情報の少なくとも一方に基づき、前記動画像が有する複数のシーンに関して、シーン毎に、対応するシーンの動画像であるシーン動画像の中から、表示対象のオブジェクトを選択するように構成される選択部と、
前記シーン毎に、前記シーン動画像に対するクロッピング領域を、前記表示対象のオブジェクトを基準に設定するように構成される設定部と
前記シーン毎に、前記シーン動画像における前記クロッピング領域の外側に位置する画像領域を取り除くように前記シーン動画像をクロッピングすることにより、クロッピングされたシーン動画像を生成するように構成される加工部と、
加工済動画データとして、前記シーン毎の前記クロッピングされたシーン動画像を結合した動画データを生成するように構成される生成部と、
を備え、
前記選択部は、前記シーン毎に、前記シーン動画像に関する前記音声情報及び文字情報の少なくとも一方に基づき、オブジェクトのタイプを選択し、前記シーン毎に、前記シーン動画像に含まれる、選択したタイプの一以上のオブジェクトの中から、前記表示対象のオブジェクトを選択する情報処理システム。 - 動画データを取得するように構成される取得部と、
前記動画データに含まれる動画像と共に再生される音声情報及び文字情報の少なくとも一方に基づき、前記動画像が有する複数のシーンに関して、シーン毎に、対応するシーンの動画像であるシーン動画像の中から、表示対象のオブジェクトを選択するように構成される選択部と、
前記シーン毎に、前記シーン動画像に対するクロッピング領域を、前記表示対象のオブジェクトを基準に設定するように構成される設定部と
前記シーン毎に、前記シーン動画像における前記クロッピング領域の外側に位置する画像領域を取り除くように前記シーン動画像をクロッピングすることにより、クロッピングされたシーン動画像を生成するように構成される加工部と、
加工済動画データとして、前記シーン毎の前記クロッピングされたシーン動画像を結合した動画データを生成するように構成される生成部と、
を備え、
前記選択部は、前記音声情報及び文字情報の少なくとも一方に基づき、オブジェクトのタイプを選択し、前記シーン毎に、前記シーン動画像に含まれる、選択したタイプの一以上のオブジェクトの中から、前記表示対象のオブジェクトを選択し、
選択可能な前記オブジェクトのタイプには、前記オブジェクトが人である第一のタイプと、前記オブジェクトが人以外である第二のタイプとが含まれ、前記オブジェクトのタイプとして、前記第一のタイプ及び前記第二のタイプを含む前記オブジェクトの複数のタイプの一つが選択される情報処理システム。 - 前記選択部は、前記シーン毎に、前記シーン動画像に関する前記音声情報及び文字情報の少なくとも一方に基づき、前記オブジェクトのタイプを選択する請求項2記載の情報処理システム。
- 前記クロッピング領域は、前記シーン動画像を、クロッピング前の前記シーン動画像のアスペクト比とは異なるアスペクト比のシーン動画像に変換するためのクロッピング領域である請求項1~請求項3のいずれか一項記載の情報処理システム。
- 請求項1~請求項4のいずれか一項記載の情報処理システムにおける前記取得部と、前記選択部と、前記設定部と、前記加工部と、前記生成部として、コンピュータを機能させるためのコンピュータプログラム。
- コンピュータにより実行されるデータ加工方法であって、
動画データを取得することと、
前記動画データに含まれる動画像と共に再生される音声情報及び文字情報の少なくとも一方に基づき、前記動画像が有する複数のシーンに関して、シーン毎に、対応するシーンの動画像であるシーン動画像の中から、表示対象のオブジェクトを選択することと、
前記シーン毎に、前記シーン動画像に対するクロッピング領域を、前記表示対象のオブジェクトを基準に設定することと、
前記シーン毎に、前記シーン動画像における前記クロッピング領域の外側に位置する画像領域を取り除くように前記シーン動画像をクロッピングすることにより、クロッピングされたシーン動画像を生成することと、
加工済動画データとして、前記シーン毎の前記クロッピングされたシーン動画像を結合した動画データを生成することと、
を含み、
前記表示対象のオブジェクトを選択することは、前記シーン毎に、前記シーン動画像に関する前記音声情報及び文字情報の少なくとも一方に基づき、オブジェクトのタイプを選択し、前記シーン毎に、前記シーン動画像に含まれる、選択したタイプの一以上のオブジェクトの中から、前記表示対象のオブジェクトを選択することを含むデータ加工方法。 - コンピュータにより実行されるデータ加工方法であって、
動画データを取得することと、
前記動画データに含まれる動画像と共に再生される音声情報及び文字情報の少なくとも一方に基づき、前記動画像が有する複数のシーンに関して、シーン毎に、対応するシーンの動画像であるシーン動画像の中から、表示対象のオブジェクトを選択することと、
前記シーン毎に、前記シーン動画像に対するクロッピング領域を、前記表示対象のオブジェクトを基準に設定することと、
前記シーン毎に、前記シーン動画像における前記クロッピング領域の外側に位置する画像領域を取り除くように前記シーン動画像をクロッピングすることにより、クロッピングされたシーン動画像を生成することと、
加工済動画データとして、前記シーン毎の前記クロッピングされたシーン動画像を結合した動画データを生成することと、
を含み、
前記表示対象のオブジェクトを選択することは、前記音声情報及び文字情報の少なくとも一方に基づき、オブジェクトのタイプを選択し、前記シーン毎に、前記シーン動画像に含まれる、選択したタイプの一以上のオブジェクトの中から、前記表示対象のオブジェクトを選択することを含み、
選択可能な前記オブジェクトのタイプには、前記オブジェクトが人である第一のタイプと、前記オブジェクトが人以外である第二のタイプとが含まれ、前記オブジェクトのタイプとして、前記第一のタイプ及び前記第二のタイプを含む前記オブジェクトの複数のタイプの一つが選択されるデータ加工方法。 - 前記表示対象のオブジェクトを選択することは、前記シーン毎に、前記シーン動画像に関する前記音声情報及び文字情報の少なくとも一方に基づき、前記オブジェクトのタイプを選択することを含む請求項7記載のデータ加工方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022102038A JP7225460B1 (ja) | 2021-12-27 | 2022-06-24 | 情報処理システム、データ加工方法、及びコンピュータプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021213035A JP7164698B1 (ja) | 2021-12-27 | 2021-12-27 | 情報処理システム、データ加工方法、及びコンピュータプログラム |
JP2022102038A JP7225460B1 (ja) | 2021-12-27 | 2022-06-24 | 情報処理システム、データ加工方法、及びコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021213035A Division JP7164698B1 (ja) | 2021-12-27 | 2021-12-27 | 情報処理システム、データ加工方法、及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7225460B1 true JP7225460B1 (ja) | 2023-02-20 |
JP2023097326A JP2023097326A (ja) | 2023-07-07 |
Family
ID=87005944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022102038A Active JP7225460B1 (ja) | 2021-12-27 | 2022-06-24 | 情報処理システム、データ加工方法、及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7225460B1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148121A (ja) | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 動画要約自動作成装置、方法、及びコンピュータ・プログラム |
JP2017169140A (ja) | 2016-03-17 | 2017-09-21 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
-
2022
- 2022-06-24 JP JP2022102038A patent/JP7225460B1/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148121A (ja) | 2006-12-12 | 2008-06-26 | Yahoo Japan Corp | 動画要約自動作成装置、方法、及びコンピュータ・プログラム |
JP2017169140A (ja) | 2016-03-17 | 2017-09-21 | ヤフー株式会社 | 生成装置、生成方法、及び生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023097326A (ja) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8416332B2 (en) | Information processing apparatus, information processing method, and program | |
JP7034666B2 (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
CN107862315B (zh) | 字幕提取方法、视频搜索方法、字幕分享方法及装置 | |
KR102027670B1 (ko) | 관람자 관계형 동영상 제작 장치 및 제작 방법 | |
US8559798B2 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
US8548249B2 (en) | Information processing apparatus, information processing method, and program | |
CN102959951B (zh) | 图像处理装置、图像处理方法及集成电路 | |
US8503770B2 (en) | Information processing apparatus and method, and program | |
KR20140076632A (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
US20120287233A1 (en) | Personalizing 3dtv viewing experience | |
WO2011126134A1 (ja) | リアルタイム動画像収集・認識・分類・処理・配信サーバシステム | |
CN101877060A (zh) | 信息处理设备和方法以及程序 | |
JP5634111B2 (ja) | 映像編集装置、映像編集方法及びプログラム | |
CN102214304A (zh) | 信息处理设备、信息处理方法、和程序 | |
TWI470999B (zh) | 編輯與儲存串流的方法、裝置、系統 | |
JP2010055424A (ja) | 画像を処理する装置、方法およびプログラム | |
CN109408672A (zh) | 一种文章生成方法、装置、服务器及存储介质 | |
JP2011054081A (ja) | 画像処理装置および方法、並びにプログラム | |
KR101927965B1 (ko) | 광고 동영상 제작 시스템 및 방법 | |
CN112954443A (zh) | 全景视频的播放方法、装置、计算机设备和存储介质 | |
KR20100103776A (ko) | 화상 처리 장치, 동화상 재생 장치, 이것들에 있어서의 처리 방법 및 프로그램 | |
JP7225460B1 (ja) | 情報処理システム、データ加工方法、及びコンピュータプログラム | |
JP7164698B1 (ja) | 情報処理システム、データ加工方法、及びコンピュータプログラム | |
KR20200065811A (ko) | 클라우드 기반의 그래픽 영상 통합 방송 시스템 | |
JP4185790B2 (ja) | テレビジョン放送受信機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220629 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225460 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |