JP7347435B2 - 画像処理装置、プログラムおよび画像処理方法 - Google Patents
画像処理装置、プログラムおよび画像処理方法 Download PDFInfo
- Publication number
- JP7347435B2 JP7347435B2 JP2020546745A JP2020546745A JP7347435B2 JP 7347435 B2 JP7347435 B2 JP 7347435B2 JP 2020546745 A JP2020546745 A JP 2020546745A JP 2020546745 A JP2020546745 A JP 2020546745A JP 7347435 B2 JP7347435 B2 JP 7347435B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- rule
- shot
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
1.画像処理システムの概要
1-1.画像処理システムの構成
1-2.ベースショットの登録
1-3.スイッチャーの外観
1-4.背景
2.スイッチャーの構成
2-1.各機能の概要
2-2.ショット領域の品質評価
2-3.修正ショットの生成
2-4.ショットの継続評価
2-5.認識結果が得られない場合
3.スイッチャーの動作
3-1.ベースショットの登録動作
3-2.クロップ動作
4.むすび
本開示の実施形態は、1の撮像装置により得られた画像から一部の画像を切出す(クロップ)ための画像処理システムに関する。特に、本開示の実施形態による画像処理システムは、UHDでの撮像が可能なUHD撮像装置を用い、UHD撮像装置により得られたUHD画像から1または2以上のHD画像をクロップする。また、本開示の実施形態による画像処理システムは、UHDとHDの間の解像度を有する画像をクロップし、当該画像をリサイズすることによりHD画像を得ることも可能である。このような画像処理システムは、例えば映像制作の現場で用いられ得る。以下、本開示の実施形態による画像処理システムの概要を説明する。
図1は、本開示の実施形態による画像処理システムの構成を示す説明図である。図1に示したように、本開示の実施形態による画像処理システムは、UHD撮像装置10、スイッチャー20、および操作端末30を備える。
ベースショットの登録手順は多様である。ここでは、ユーザが何を指定するかが異なる3種類の登録手順を順次説明する。
続いて、図7を参照し、スイッチャー20の外観構成を説明する。
常に上述したベースショットに従って構図枠を設定する方法では、構図枠の品質が不十分となる場合がある。例えば、ベースショットに従って設定される構図枠は主要被写体の移動に伴って変化する、ベースショットに従って設定される構図枠に含まれる他の被写体の状態が変化する、などの事情により、被写体の見切れが生じている、構図バランスが悪い、または画素数が少ないなど、品質面で懸念のある構図枠が設定され得る。ここで、図8を参照し、品質面で懸念のある構図枠をより具体的に説明する。
(2-1.各機能の概要)
図9は、本開示の実施形態によるスイッチャー20におけるクロップ処理のための構成を示す説明図である。図9に示したように、本開示の実施形態によるスイッチャー20は、ベースショット登録部220、ベースショット記憶部224、画像認識部228、ベースショット領域特定部232、修正ショット領域特定部236、評価部240、ショット選択部244、構図枠設定部248、カメラワーク設定部252およびクロップ部256を有する。なお、ベースショット登録部220~クロップ部256の各機能は、スイッチャー20に設けられるCPUおよびRAMなどのハードウェアと、ソフトウェアとの協働により実現され得る。
以上、本開示の実施形態によるスイッチャー20の各機能の概要を説明した。続いて、評価部240によるベースショット領域および修正ショット領域の品質評価についてより具体的に説明する。なお、以下では、ベースショットおよび修正ショットをショットと総称し、ベースショット領域および修正ショット領域をショット領域と総称する場合がある。
評価部240は、ショット領域が品質条件を満たすか否かを、当該ショット領域における主要被写体以外の被写体(他の被写体)の存在を加味して評価する。例えば、品質条件は見切れに関する条件を含み、評価部240は、他の被写体の見切れが生じているショット領域に関し、他の被写体の見切れ度合いに基づいて見切れに関する条件が満たされるか否かを評価する。被写体の見切れとしては、水平方向での見切れ、または垂直方向での見切れが生じ得る。
また、品質条件はショット領域の構図バランスに関する条件を含み、評価部240は、主要被写体および他の被写体の水平方向または垂直方向の余白に偏りがあるショット領域は構図バランスに関する条件を満たさないと評価する。以下、図13および図14を参照し、水平方向における余白の偏りを評価する方法、および垂直方向における余白の偏りを評価する方法の具体例を説明する。
また、品質条件はショット領域の画素数に関する条件を含み、評価部240は、画素数が閾値未満であるショット領域は画素数に関する条件を満たさないと評価する。以下、図15を参照し、画素数が閾値未満であるショット領域の具体例を説明する。
以上、ショット領域の品質評価について説明した。続いて、ベースショット領域が品質条件を満たさない場合に修正ショット領域特定部236により生成される修正ショットの具体例を説明する。
修正ショット領域特定部236は、ベースショット領域が見切れに関する条件を満たさない場合、ベースショットが示す主要被写体の身体パーツまたはスペーシングと異なる身体パーツまたはスペーシングを示す修正ショットを生成する。このような修正ショットに従って特定される修正ショット領域の大きさはベースショット領域と異なり、結果、修正ショット領域は見切れに関する条件を満たし得る。以下、図16を参照して見切れへの対応例を説明する。
修正ショット領域特定部236は、ベースショット領域が構図バランスに関する条件を満たさない場合、水平方向または垂直方向の余白の大きさがベースショットと異なる修正ショットを生成する。以下、図17を参照して余白の偏りの回避例を説明する。
修正ショット領域特定部236は、ベースショット領域が画素数に関する条件を満たさない場合、ベースショットが示す主要被写体の身体パーツまたはスペーシングと異なる身体パーツまたはスペーシングを示す修正ショットを生成する。このような修正ショットに従って特定される修正ショット領域の大きさはベースショット領域と異なり、結果、画素数の不足を回避し得る。以下、図18を参照し、画素数の不足の回避例を説明する。
ショット選択部244により選択されるショットがフレーム画像毎に変わると、構図枠設定部248により設定される構図枠が安定しない。このため、ショット選択部244によりベースショットまたは修正ショットが選択された場合、評価部240は、選択されたショットに従うショット領域の品質の評価を継続的に行う。そして、ショット選択部244は、選択したショットに従うショット領域が品質条件を満たさなくなるまで当該ショットの選択を維持する。そして、ショット選択部244は、当該ショット領域が品質条件を満たさなくなった後、ベースショット、または新たに修正ショット領域特定部236に生成された修正ショットを選択する。以下、図19を参照し、このようなショットの継続評価の具体例を説明する。
画像認識部228によるUHD撮像画像の認識処理で、ベースショットが示す主要被写体が認識されない場合がある。ショット選択部244によりショットが選択されていない状態で主要被写体が認識されなかった場合、構図枠設定部248は、ベースショットが登録された際の処理枠の位置に構図枠を設定する。一方、ショット選択部244によりショットの選択が維持されている状態で主要被写体が認識されなくなった場合、直近のフレーム画像で設定した構図枠を維持する。その後、主要被写体が認識されると、構図枠設定部248は主要被写体が構図枠に含まれるように、構図枠の位置を滑らかに移動させる。以下、図20を参照して、認識結果が得られなかった場合の構図枠の設定の具体例を説明する。
以上、本開示の実施形態によるスイッチャー20におけるクロップ処理に関する構成を説明した。続いて、本開示の実施形態によるスイッチャー20の動作を整理する。
図21は、ベースショットの登録動作を示すフローチャートである。図21に示したように、処理枠をマニュアル指定しない方法では(S304/No)、ベースショット登録部220がUHD撮像画像の認識処理を実行する(S308)。そして、ベースショット登録部220は、認識結果に基づき、処理枠の候補を自動的に生成する(S312)。その後、ユーザにより処理枠が選択され(S316)、選択が確定されると(S320/Yes)、ユーザによりカメラワークが指定される(S344)。そして、ベースショット登録部220は、ユーザにより選択された処理枠に含まれる主要被写体、処理枠に含まれる主要被写体の身体パーツに対する処理枠の相対位置および大きさ(スペーシング)、処理枠に含まれる被写体の身体パーツ、およびユーザにより指定されたカメラワークを示すベースショットをベースショット記憶部224に登録する(S348)。
図22は、クロップ動作を示すフローチャートである。まず、画像認識部228が、UHD撮像装置10から入力されるUHD撮像画像の画像認識を実行し、被写体の検出および追尾などを行う(S404)。そして、ベースショット領域特定部232が、画像認識部228による認識の結果を用いて、およびベースショット記憶部224に記憶されているベースショットに従い、UHD撮像画像からベースショット領域を特定する(S408)。続いて、修正ショット領域特定部236は、ベースショット記憶部224に記憶されているベースショットを修正して修正ショットを生成し、修正ショットに従いUHD撮像画像から修正ショット領域を特定する(S412)。
以上説明したように、本開示の実施形態によれば、被写体に追従するような好適な構図枠を自動的に設定することが可能である。さらに、構図枠の設定に用いられるショットを、各ショットにより従って特定されるショット領域の品質に応じて選択することにより、構図枠の品質を維持することが可能である。例えば、本開示の実施形態によれば、見切れ、構図バランスまたは画素数などの観点から好適な構図枠を設定することが可能である。すなわち、本開示の実施形態によれば、好適な構図枠を設定するためのユーザの手間を大幅に削減すること、および、被写体に動きがある場合であっても、被写体の動きに応じて好適な構図枠を設定することが可能である。
(1)
撮像画像の第1の領域が品質条件を満たすか否かを評価する評価部と、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、を備える、画像処理装置。
(2)
前記画像処理装置は、
第1のルールに従って前記第1の領域を特定する第1の領域特定部と、
第2のルールに従って前記撮像画像の第2の領域を特定する第2の領域特定部と、
前記第1の領域が前記品質条件を満たすか否かに基づき前記第1のルールまたは前記第2のルールを選択するルール選択部と、
をさらに備え、
前記構図枠設定部は、前記ルール選択部により選択されたルールに基づき前記構図枠を設定する、前記(1)に記載の画像処理装置。
(3)
前記第1のルールおよび前記第2のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
前記評価部は、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、前記(2)に記載の画像処理装置。
(4)
前記品質条件は、前記他の被写体の見切れに関する条件を含み、
前記評価部は、前記他の被写体の見切れ度合に基づいて、前記領域が前記見切れに関する条件を満たすか否か評価する、前記(3)に記載の画像処理装置。
(5)
前記評価部は、前記領域に前記他の被写体の顔が含まれ、かつ、前記領域に含まれる顔の範囲が前記顔全体の所定の割合未満であることに基づき、前記領域が前記見切れに関する条件を満たさないと評価する、前記(4)に記載の画像処理装置。
(6)
前記評価部は、前記領域における前記他の被写体の大きさが、前記領域における前記主要被写体の大きさの所定の割合未満である場合、前記他の被写体の見切れ度合いによらず、前記領域は前記見切れに関する条件を満たすと評価する、前記(4)または(5)に記載の画像処理装置。
(7)
前記第2の領域特定部は、前記第1の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含み、前記見切れに関する条件を満たす領域を前記第2の領域として特定する、前記(4)~(6)のいずれか一項に記載の画像処理装置。
(8)
前記第2の領域特定部は、前記第1の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含まない領域を前記第2の領域として特定する、前記(4)~(6)のいずれか一項に記載の画像処理装置。
(9)
前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
前記第2の領域特定部は、前記第1のルールが示す身体パーツと異なる身体パーツを示すルールを前記第2のルールとして設定し、当該第2のルールに従って前記第2の領域を特定する、前記(7)または(8)に記載の画像処理装置。
(10)
前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
前記第2の領域特定部は、前記第1のルールが示す前記余白と異なる余白を示すルールを前記第2のルールとして設定し、当該第2のルールに従って前記第2の領域を特定する、前記(7)または(8)に記載の画像処理装置。
(11)
前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
前記品質条件は、前記領域における前記主要被写体および前記他の被写体の水平方向または垂直方向の余白の偏りに関する条件を含み、
前記評価部は、前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある領域は、前記余白の偏りに関する条件を満たさないと評価する、前記(3)~(10)のいずれか一項に記載の画像処理装置。
(12)
前記第2の領域特定部は、前記第1の領域において前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある場合、前記偏りが軽減された領域を前記第2の領域として特定する、前記(11)に記載の画像処理装置。
(13)
前記品質条件は、前記領域の画素数に関する条件を含み、
前記評価部は、画素数が閾値未満である領域は前記画素数に関する条件を満たさないと評価する、前記(3)~(8)のいずれか一項に記載の画像処理装置。
(14)
前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
前記第2の領域特定部は、前記第1の領域の画素数が閾値未満である場合、画素数が前記閾値を上回る領域を前記第2の領域として特定する、前記(13)に記載の画像処理装置。
(15)
前記撮像画像は動画であり、
前記ルール選択部は、
前記動画を構成する1のフレーム画像に関し、前記第1の領域が前記品質条件を満たさず、前記第2の領域が前記品質条件を満たす場合には前記第2のルールを選択し、
前記1のフレーム画像以降のフレーム画像に関し、前記第2のルールに従って特定される前記第2の領域が前記品質条件を満たさなくなるまで前記第2のルールの選択を維持し、
前記第2の領域が前記品質条件を満たさなくなった後、前記第1のルールまたは新たな第2のルールを選択する、前記(2)~(14)のいずれか一項に記載の画像処理装置。
(16)
前記構図枠設定部は、前記撮像画像から主要被写体が認識されないフレーム画像においては、直近のフレーム画像で設定した構図枠を維持する、前記(15)に記載の画像処理装置。
(17)
前記画像処理装置は、前記構図枠設定部により設定された構図枠に含まれる画像を前記撮像画像から切り出す切出し部をさらに備える、前記(1)~(16)のいずれか一項に記載の画像処理装置。
(18)
前記撮像画像に含まれる複数の第1の領域の各々に関して前記評価部および前記構図枠設定部を含む各構成による処理が実行され、前記撮像画像に複数の構図枠が設定される、前記(1)~(17)のいずれか一項に記載の画像処理装置。
(19)
コンピュータを、
撮像画像の第1の領域が品質条件を満たすか否かを評価する評価部と、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、として機能させるための、プログラム。
(20)
撮像画像の第1の領域が品質条件を満たすか否かをプロセッサにより評価することと、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定することと、を含む、画像処理方法。
20 スイッチャー
30 操作端末
211 端子群
212 音声操作部
214 画像選択部
215 ベースショット選択部
216 出力画像切替部
220 ベースショット登録部
224 ベースショット記憶部
228 画像認識部
232 ベースショット領域特定部
236 修正ショット領域特定部
240 評価部
244 ショット選択部
248 構図枠設定部
252 カメラワーク設定部
256 クロップ部
Claims (18)
- 撮像画像の第1の領域が品質条件を満たすか否かを評価する評価部と、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、
第1のルールに従って前記第1の領域を特定する第1の領域特定部と、
第2のルールに従って前記撮像画像の第2の領域を特定する第2の領域特定部と、
前記第1の領域が前記品質条件を満たすか否かに基づき前記第1のルールまたは前記第2のルールを選択するルール選択部と、
を備え、
前記構図枠設定部は、前記ルール選択部により選択されたルールに基づき前記構図枠を設定し、
前記第1のルールおよび前記第2のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
前記評価部は、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、画像処理装置。 - 前記品質条件は、前記他の被写体の見切れに関する条件を含み、
前記評価部は、前記他の被写体の見切れ度合に基づいて、前記領域が前記見切れに関する条件を満たすか否か評価する、請求項1に記載の画像処理装置。 - 前記評価部は、前記領域に前記他の被写体の顔が含まれ、かつ、前記領域に含まれる顔の範囲が前記顔全体の所定の割合未満であることに基づき、前記領域が前記見切れに関する条件を満たさないと評価する、請求項2に記載の画像処理装置。
- 前記評価部は、前記領域における前記他の被写体の大きさが、前記領域における前記主要被写体の大きさの所定の割合未満である場合、前記他の被写体の見切れ度合いによらず、前記領域は前記見切れに関する条件を満たすと評価する、請求項2に記載の画像処理装置。
- 前記第2の領域特定部は、前記第1の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含み、前記見切れに関する条件を満たす領域を前記第2の領域として特定する、請求項2に記載の画像処理装置。
- 前記第2の領域特定部は、前記第1の領域が前記見切れに関する条件を満たさない場合、前記他の被写体を含まない領域を前記第2の領域として特定する、請求項2に記載の画像処理装置。
- 前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
前記第2の領域特定部は、前記第1のルールが示す身体パーツと異なる身体パーツを示すルールを前記第2のルールとして設定し、当該第2のルールに従って前記第2の領域を特定する、請求項5に記載の画像処理装置。 - 前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
前記第2の領域特定部は、前記第1のルールが示す前記余白と異なる余白を示すルールを前記第2のルールとして設定し、当該第2のルールに従って前記第2の領域を特定する、請求項5に記載の画像処理装置。 - 前記各ルールは、前記主要被写体の水平方向または垂直方向の余白の大きさに関連し、
前記品質条件は、前記領域における前記主要被写体および前記他の被写体の水平方向または垂直方向の余白の偏りに関する条件を含み、
前記評価部は、前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある領域は、前記余白の偏りに関する条件を満たさないと評価する、請求項1に記載の画像処理装置。 - 前記第2の領域特定部は、前記第1の領域において前記主要被写体および前記他の被写体の水平方向または垂直方向の余白に偏りがある場合、前記偏りが軽減された領域を前記第2の領域として特定する、請求項9に記載の画像処理装置。
- 前記品質条件は、前記領域の画素数に関する条件を含み、
前記評価部は、画素数が閾値未満である領域は前記画素数に関する条件を満たさないと評価する、請求項1に記載の画像処理装置。 - 前記各ルールは、前記領域に含まれるべき前記主要被写体の身体パーツに関連し、
前記第2の領域特定部は、前記第1の領域の画素数が閾値未満である場合、画素数が前記閾値を上回る領域を前記第2の領域として特定する、請求項11に記載の画像処理装置。 - 前記撮像画像は動画であり、
前記ルール選択部は、
前記動画を構成する1のフレーム画像に関し、前記第1の領域が前記品質条件を満たさず、前記第2の領域が前記品質条件を満たす場合には前記第2のルールを選択し、
前記1のフレーム画像以降のフレーム画像に関し、前記第2のルールに従って特定される前記第2の領域が前記品質条件を満たさなくなるまで前記第2のルールの選択を維持し、
前記第2の領域が前記品質条件を満たさなくなった後、前記第1のルールまたは新たな第2のルールを選択する、請求項1に記載の画像処理装置。 - 前記構図枠設定部は、前記撮像画像から主要被写体が認識されないフレーム画像においては、直近のフレーム画像で設定した構図枠を維持する、請求項13に記載の画像処理装置。
- 前記画像処理装置は、前記構図枠設定部により設定された構図枠に含まれる画像を前記撮像画像から切り出す切出し部をさらに備える、請求項1に記載の画像処理装置。
- 前記撮像画像に含まれる複数の第1の領域の各々に関して前記評価部および前記構図枠設定部を含む各構成による処理が実行され、前記撮像画像に複数の構図枠が設定される、請求項1に記載の画像処理装置。
- コンピュータを、
撮像画像の第1の領域が品質条件を満たすか否かを評価する評価部と、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定する構図枠設定部と、
第1のルールに従って前記第1の領域を特定する第1の領域特定部と、
第2のルールに従って前記撮像画像の第2の領域を特定する第2の領域特定部と、
前記第1の領域が前記品質条件を満たすか否かに基づき前記第1のルールまたは前記第2のルールを選択するルール選択部と、
として機能させ、
前記構図枠設定部は、前記ルール選択部により選択されたルールに基づき前記構図枠を設定し、
前記第1のルールおよび前記第2のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
前記評価部は、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、
ための、プログラム。 - 撮像画像の第1の領域が品質条件を満たすか否かをプロセッサにより評価することと、
前記第1の領域の評価結果に応じて異なる構図枠を前記撮像画像に設定することと、
第1のルールに従って前記第1の領域を特定することと、
第2のルールに従って前記撮像画像の第2の領域を特定することと、
前記第1の領域が前記品質条件を満たすか否かに基づき前記第1のルールまたは前記第2のルールを選択することと、
を含み、
前記設定することは、前記選択することにより選択されたルールに基づき前記構図枠を設定し、
前記第1のルールおよび前記第2のルールを含む各ルールは、特定される領域に含まれるべき主要被写体に関連し、
前記評価することは、前記各ルールに従って特定された領域が前記品質条件を満たすか否かを、当該領域における他の被写体の存在を加味して評価する、画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170177 | 2018-09-12 | ||
JP2018170177 | 2018-09-12 | ||
PCT/JP2019/030088 WO2020054241A1 (ja) | 2018-09-12 | 2019-07-31 | 画像処理装置、プログラムおよび画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020054241A1 JPWO2020054241A1 (ja) | 2021-08-30 |
JP7347435B2 true JP7347435B2 (ja) | 2023-09-20 |
Family
ID=69776568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020546745A Active JP7347435B2 (ja) | 2018-09-12 | 2019-07-31 | 画像処理装置、プログラムおよび画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11528429B2 (ja) |
EP (1) | EP3852357A4 (ja) |
JP (1) | JP7347435B2 (ja) |
WO (1) | WO2020054241A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102605070B1 (ko) * | 2020-07-06 | 2023-11-24 | 한국전자통신연구원 | 인식 모델 학습 장치, 촬영본 영상 분석 장치 및 촬영본 검색 서비스 제공 장치 |
WO2024127729A1 (ja) * | 2022-12-15 | 2024-06-20 | キヤノン株式会社 | 電子機器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309661A (ja) | 2005-05-02 | 2006-11-09 | Fuji Photo Film Co Ltd | 画像再生装置及び画像再生プログラム |
JP2011120076A (ja) | 2009-12-04 | 2011-06-16 | Panasonic Corp | 画像検出装置及び画像検出方法 |
JP2011249873A (ja) | 2010-05-21 | 2011-12-08 | Furyu Kk | 写真シール作成装置および方法、並びにプログラム |
JP2014143673A (ja) | 2012-12-26 | 2014-08-07 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及び記録媒体 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2370438A (en) * | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
JP2009177431A (ja) | 2008-01-23 | 2009-08-06 | Dainippon Printing Co Ltd | 動画像再生システム、サーバ装置、端末装置及び動画像生成方法等 |
US8963960B2 (en) * | 2009-05-20 | 2015-02-24 | Adobe Systems Incorporated | System and method for content aware hybrid cropping and seam carving of images |
JP6256206B2 (ja) * | 2014-05-30 | 2018-01-10 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
US10354364B2 (en) * | 2015-09-14 | 2019-07-16 | Intel Corporation | Automatic perspective control using vanishing points |
CN109564651A (zh) * | 2016-05-19 | 2019-04-02 | 思比机器人公司 | 用于自动生成将产品分配到商店内的货架结构的货架图的方法 |
US11232294B1 (en) * | 2017-09-27 | 2022-01-25 | Amazon Technologies, Inc. | Generating tracklets from digital imagery |
-
2019
- 2019-07-31 JP JP2020546745A patent/JP7347435B2/ja active Active
- 2019-07-31 WO PCT/JP2019/030088 patent/WO2020054241A1/ja unknown
- 2019-07-31 EP EP19859862.5A patent/EP3852357A4/en active Pending
- 2019-07-31 US US17/250,783 patent/US11528429B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006309661A (ja) | 2005-05-02 | 2006-11-09 | Fuji Photo Film Co Ltd | 画像再生装置及び画像再生プログラム |
JP2011120076A (ja) | 2009-12-04 | 2011-06-16 | Panasonic Corp | 画像検出装置及び画像検出方法 |
JP2011249873A (ja) | 2010-05-21 | 2011-12-08 | Furyu Kk | 写真シール作成装置および方法、並びにプログラム |
JP2014143673A (ja) | 2012-12-26 | 2014-08-07 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、及び記録媒体 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
WO2020054241A1 (ja) | 2020-03-19 |
EP3852357A4 (en) | 2021-10-13 |
CN112655196A (zh) | 2021-04-13 |
EP3852357A1 (en) | 2021-07-21 |
US11528429B2 (en) | 2022-12-13 |
JPWO2020054241A1 (ja) | 2021-08-30 |
US20210352221A1 (en) | 2021-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109819237B (zh) | 显示控制装置、显示控制方法和存储介质 | |
US8687041B2 (en) | Stereoscopic panorama image creating apparatus, stereoscopic panorama image creating method, stereoscopic panorama image reproducing apparatus, stereoscopic panorama image reproducing method, and recording medium | |
JP7347435B2 (ja) | 画像処理装置、プログラムおよび画像処理方法 | |
JP6008045B2 (ja) | 教師データ生成装置、方法、プログラム、および群衆状態認識装置、方法、プログラム | |
JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
US8682061B2 (en) | Stereoscopic image editing apparatus and stereoscopic image editing method | |
US10440307B2 (en) | Image processing device, image processing method and medium | |
US9779699B2 (en) | Image processing device, image processing method, computer readable medium | |
JP6682559B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 | |
US9081430B2 (en) | Pointing control device, integrated circuit thereof and pointing control method | |
JP2014021596A (ja) | タブレット端末、操作受付方法および操作受付プログラム | |
US20130328918A1 (en) | Image processing device, image processing method, and program | |
JP6091669B2 (ja) | 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体 | |
JP2006202181A (ja) | 画像出力方法および装置 | |
KR20150119621A (ko) | 디스플레이 장치 및 그의 이미지 합성 방법 | |
CN111213363A (zh) | 终端拍照控制方法、移动终端及可读储存介质 | |
JPWO2014148031A1 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
JP2006099058A (ja) | 表示装置、表示方法、およびプログラム | |
JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
WO2014034137A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN112655196B (en) | Image processing apparatus, program, and image processing method | |
JP2008033840A (ja) | 動画表示装置、動画表示方法、及びコンピュータプログラム | |
JP2021119686A (ja) | 情報処理装置、スイッチングシステム、プログラム及び方法 | |
KR20160078878A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
JP2015185870A (ja) | 画像処理装置、画像処理方法、及び画像処理装置のプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7347435 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |