JP6723512B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6723512B2 JP6723512B2 JP2016052641A JP2016052641A JP6723512B2 JP 6723512 B2 JP6723512 B2 JP 6723512B2 JP 2016052641 A JP2016052641 A JP 2016052641A JP 2016052641 A JP2016052641 A JP 2016052641A JP 6723512 B2 JP6723512 B2 JP 6723512B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- wide
- angle
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 96
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 46
- 238000012937 correction Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Human Computer Interaction (AREA)
Description
広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段と、
前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段と、
前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第1の表示制御手段と、
前記第1の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する第1の選択手段と、
前記第1の選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第2の表示制御手段と、
を備えることを特徴とする画像処理装置である。
以下、図1〜図9を参照して本発明の第1実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、このデジタルカメラは、後述する撮像部を備える撮像装置10と、後述する表示部を備える本体装置20とに分離可能なセパレート型デジタルカメラである。図1(1)は、撮像装置10と本体装置20とを一体的に組み合わせた状態を示し、図1(2)は、撮像装置10と本体装置20とを分離した状態を示した図である。このセパレート型デジタルカメラを構成する撮像装置10と本体装置20とは、それぞれが利用可能な無線通信を用いてペアリング(無線接続認識)が可能なもので、無線通信としては、無線LAN(Wi−Fi)又はBluetooth(登録商標)を使用している。本体装置20側では、撮像装置10側で撮影された画像を受信取得して、この撮影画像(ライブビュー画像)を表示するようにしている。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像(ライブビュー画像:保存前の画像)を意味している。
図2(1)において、撮像装置10は、制御部11、電源部12、記憶部13、通信部14、操作部15、撮像部16、姿勢検出部17を備えている。制御部11は、電源部(二次電池)12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこの撮像装置10の全体動作を制御するもので、この制御部11には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部13は、例えば、ROM、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。通信部14は、撮影画像を本体装置20側に送信したり、本体装置20からの操作指示信号などを受信したりする。操作部15は、電源スイッチなどの基本的な操作キー(ハードウェアキー)を備えている。
撮像装置10は、例えば、その全体が箱型を成し、その正面中央部に魚眼レンズ16Bを配置した構成となっている。図3(1)は、魚眼レンズ16Bの光軸方向が重力方向に対して略直交する状態、つまり、カメラが地面に対して略垂直となるようにして撮影した場合(垂直撮りを行った場合)を示し、更に、図中、破線で示した半球は、画角が略180゜という魚眼レンズ16Bの撮影範囲を示している。図3(2)は、カメラの正面方向(魚眼レンズ16Bの光軸方向)を天に向けた状態、つまり、魚眼レンズ16Bの光軸方向が重力方向に対して略逆方向となるようにして撮影した場合(水平撮りを行った場合)を示している。
図示の例は、図3(1)に示した垂直撮りで撮影した魚眼画像を示し、図4(1)は、撮影範囲として前方180°を垂直撮りした場合の魚眼画像、図4(2)は、撮影範囲として後方180°を垂直撮りした場合の魚眼画像である。このように360°撮影を行う場合には、前方180°撮影と後方180°撮影に分けて2回撮影を行うようにしている。なお、図示の例は、屋外で食卓を囲んでパーティを開いている様子を撮影したもので、前方180°を撮影した図4(1)の魚眼画像内には一組の親子が写っており、後方180°を撮影した図4(2)の魚眼画像内にも一組の親子が写っている場合を示している。このように360°撮影された各魚眼画像は、一組の魚眼画像群として一括して記憶保存される。
図5(1)、本体装置20側のタッチ表示部26に各種の魚眼画像(保存済み画像)がサムネイル表示された一覧画面を示し、図中の円形は、個々の魚眼画像を示し、3×3のマトリックス状に魚眼画像がサムネイル表示されている状態を示している。ここで、任意のサムネイル画像の位置がタッチされると、制御部21は、タッチされたサムネイル画像(魚眼画像)を再生対象として選択する。図5(2)は、再生対象として選択された魚眼画像を示し、上述の360°の魚眼画像のうち、前方180°を撮影した魚眼画像(図4(1)参照)を選択した場合である。
画像管理テーブル23Cは、魚眼画像(保存済み画像)とそれに関連する画像を管理するためのテーブルで、「魚眼画像ID」、「撮影種別」、「リンクID」、「補正画像ID」、「顔画像ID」、「顔画像ID」、…の各項目を有している。「魚眼画像ID」は、魚眼画像を管理するために、その魚眼画像ファイル(図示省略)を識別する情報(一連番号など)を記憶する項目で、図示の例は、“A0001”、“A0002”、…を記憶した場合を示している。「撮影種別」は、180°で撮影した魚眼画像であるか、360°で撮影した魚眼画像であるかを示す撮影の種類を記憶する項目で、図示の例は、「魚眼画像ID」が“A0002”、“A0003”の各画像は、360°撮影の1組の魚眼画像群であることを示している。
まず、本体装置20側の制御部21は、レリーズ操作の待ち状態において(ステップA1)、レリーズ操作が行われると(ステップA1でYES)、撮像装置10から受信取得した魚眼画像に対して現像処理を行って撮影画像を生成すると共に、画像圧縮処理を施して標準的なファイル形式に変換した後(ステップA2)、記憶部23の記録メディアに記録保存させる(ステップA3)。この場合、360°撮影が行われた2枚の魚眼画像を1組の画像として記録保存させると共に、新たな「魚眼画像ID」として、例えば、“A0002”を生成し、画像管理テーブル23Cに追加登録する。
まず、制御部21は、ユーザ操作によって魚眼画像(保存済み画像)の再生が指示されると、記憶部23の記録メディアに記録保存されている複数の魚眼画像(保存済み画像)を読み出して(ステップB1)、サムネイル画像に変換して一覧表示させる(ステップB2)。この状態において、この一覧画面の中から任意のサムネイル画像を再生対象として指定するタッチ操作が行われたかを調べ(ステップB3)、タッチ操作が行われなければ(ステップB3でNO)、操作部25の所定キーとして、再生終了を指示するキーが操作されたかを調べる(ステップB4)。ここで、再生終了が指示されなければ(ステップB4でNO)、上述のステップB3に戻るが、再生終了が指示された場合には(ステップB4でYES)、図8及び図9のフローから抜ける。
上述した第1実施形態においては、撮影方向を変えて撮影された一組の魚眼画像群の中からユーザ操作によって任意に選択された魚眼画像を表示対象として指定するようにしたが、一定のタイミング毎に予め決められている順所にしたがって各魚眼画像を1枚ずつ順次選択してその補正画像を切り替え表示するようにしてもよい。これによってユーザは各魚眼画像(補正画像)を所定の順序で見ることができる。この場合、360°撮影において、表示中の魚眼画像(補正画像)内に含まれている人物の顔画像と、非表示の魚眼画像(補正画像)内に含まれている人物の顔画像とを識別して一覧表示するようにしてもよい。これによって魚眼画像(補正画像)と人物の顔画像との対応関係を容易に確認することができる。
上述した第1実施形態においては、撮影方向を変えて撮影された一組の魚眼画像群内に含まれている全ての人物の顔画像を一覧表示するようにしたが、特定の顔画像を識別して表示するようにしてもよい。例えば、拡大表示中の補正画像の一部に含まれている人物を特定し、この人物の顔画像だけを識別表示(例えば、色分け表示、拡大表示)するようにしてもよい。これによって拡大表示中の補正画像の一部に含まれている人物と、補正画像内の非表示部分に含まれている人物とを識別して表示することができる。ここで、非表示部分に含まれている人物を拡大表示によって確認する場合には、その人物が切り出されるように切り出し枠を移動させればよい。
上述した第1実施形態においては、魚眼レンズ16Bとして円周魚眼レンズ(全周魚眼レンズ)を例示したが、対角魚眼レンズを使用してもよい。また、上述した実施形態においては、1つの魚眼レンズ16Bを用いて、前方180°撮影と後方180°撮影の2回に分けて360°撮影を行うようにしたが、2つの魚眼レンズ16Bを備えるようにすれば、例えば、カメラ筐体の表裏両面にそれぞれ魚眼レンズを備えれば、360°撮影の指示に応じて前方180°撮影と後方180°撮影を同時に行うことができる。また、超広角レンズを使用して複数回の撮影を行って360°撮影を行うようにしてもよい。
上述した第1実施形態において、本体装置20の制御部21は、撮像装置10によって撮影された魚眼画像を受信取得してその画像全体の歪を補正する処理を行うと共に、その補正画像内に含まれている所定の被写体を認識してその被写体部分の画像をその被写体毎に検出した後、補正画像の一部分の画像と、検出した各被写体部分の画像とを関連付ける処理を行うようにしとているが、それに限らず、本体装置20の制御部21は、撮像装置10によって撮影された魚眼画像を受信取得すると、魚眼画像の歪みを補正することなく、その魚眼画像内に含まれている所定の被写体を認識してその被写体部分の画像をその被写体毎に検出した後、魚眼画像の一部分の画像と、検出した各被写体部分の画像とを関連付ける処理を行うようにしてもよい。
上述した第1実施形態においては、再生対象として選択された魚眼画像に対応付けて記録保存されている補正画像から切り出される所定範囲内の画像を表示するようにしたが、それに限らず、再生対象として選択された魚眼画像そのものを表示してもよい。すなわち、歪が残っている魚眼画像と、検出した各被写体部分の画像(顔画像)とを一覧表示させるようにしてもよい。この場合においても上述した実施形態と同様、魚眼画像とその魚眼画像内に写っている所定の被写体との対応関係を明確にして、ユーザに提供することができる。
上述した第1実施形態においては、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中から表示対象の広角画像がユーザ操作によって指定された場合に、その指定された広角画像の補正画像と、広角画像群の中から検出された全ての被写体部分の画像(人物の顔)と、を対応付けて表示するようにしたが、広角画像群の中から表示対象の広角画像がユーザ操作によって指定された場合に、その指定された広角画像(歪が残っている画像)と、広角画像群の中から検出された全ての被写体部分の画像(人物の顔)と、を対応付けて表示するようにしてもよい。これによってユーザにあっては複数の広角画像の切り替え表示によってその複数の広角画像を見ることができる。
以下、この発明の第2実施形態について図10及び図11を参照して説明する。
なお、上述した第1実施形態においては、魚眼画像(保存済み画像)を再生する場合に、複数の魚眼画像をサムネイル一覧画面に表示している状態において、その中から任意のサムネイル画像の表示位置がタッチされると、その魚眼画像に対応付けられている補正画像の一部の画像(切り出し枠内の画像)を切り替え表示するようにしたが、この第2実施形態においては、魚眼画像(サムネイル画像)がタッチされると、その魚眼画像に対応付けられている各人物の顔画像の一覧画面に切り替え表示するようにしたものである。
まず、制御部21は、ユーザ操作によって魚眼画像(保存済み画像)の再生が指示されると、記憶部23の記録メディアに記録保存されている複数の魚眼画像(保存済み画像)を読み出し(ステップC1)、この魚眼画像をサムネイル画像に変換して一覧表示させる(ステップC2)。図11(1)は、魚眼画像のサムネイル一覧画面を示し、図中、3×3のマトリックス状に配置した円形は、魚眼画像のサムネイル画像を示している。図11(2)は、このサムネイル一覧画面の一部を拡大して示した図である。
以下、この発明の第3実施形態について図12〜図14を参照して説明する。
この第3実施形態においては、複数の魚眼画像をサムネイル画像に変換して一覧表示する際に、各サムネイル画像の近辺にその魚眼画像に対応して保存されている各人物の顔画像を一覧表示するようにしたものである。すなわち、サムネイル画像の周辺にその画像に関連する各人物の顔画像を併せて表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第3実施形態の特徴部分を中心に説明するものとする。なお、この第3実施形態においても、例えば、図4(1)で示したように前方180°を垂直撮りした場合の魚眼画像と、図4(2)で示したように後方180°を垂直撮りした場合の魚眼画像、つまり、前方180°撮影と後方180°撮影に分けて2回撮影(360°撮影)した2枚の魚眼画像は、1組の画像として記録保存するようにしている。
まず、制御部21は、ユーザ操作によって魚眼画像の再生が指示されると、記録保存されている複数の魚眼画像を読み出し(ステップD1)、この魚眼画像をサムネイル画像に変換して一覧表示させる(ステップD2)。そして、各魚眼画像に対応付けて記録保存されている各人物の顔画像を魚眼画像毎に読み出し(ステップD3)、その魚眼画像(サムネイル画像)の近辺(周辺)に、対応する各顔画像を配置表示させる(ステップD4)。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する検出手段と、
前記検出手段により検出された被写体部分の画像の歪を補正する補正手段と、
前記広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記補正手段は、前記広角画像の歪を更に補正し、
前記処理手段は、前記補正手段によって歪補正された広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う、
ことを特徴とする。
(請求項3)
請求項3に記載の発明は、請求項1に記載の画像処理装置において、
前記処理手段は、歪を有する前記広角画像の少なくとも一部分の画像と前記補正手段により補正された前記被写体部分の画像とを関連付ける処理を行う、
ことを特徴とする。
(請求項4)
請求項4に記載の発明は、請求項1乃至3の何れか1項に記載の画像処理装置において、
表示手段を更に備え、
前記処理手段は、前記広角画像の少なくとも一部分の画像を前記表示手段に表示させ、前記補正手段により補正された前記被写体部分の画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
(請求項5)
請求項5に記載の発明は、請求項4に記載の画像処理装置において、
前記処理手段は、前記広角画像の少なくとも一部分の画像と、前記補正手段により補正された前記被写体部分の画像とを前記表示手段に同時に表示することで前記関連付ける処理を行う、
ことを特徴とする。
(請求項6)
請求項6に記載の発明は、請求項4又は5に記載の画像処理装置において、
前記広角画像の一部分として所定範囲内の画像を取得する取得手段を更に備え、
前記処理手段は、前記取得手段によって取得された所定範囲内の画像を前記表示手段に表示させ、前記検出手段によって検出された被写体部分の画像を前記表示手段に表示させることで、前記関連付ける処理を行う、
ことを特徴とする。
(請求項7)
請求項7に記載の発明は、請求項4乃至6の何れか1項に記載の画像処理装置において、
前記検出手段は、広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出し、
前記処理手段は、前記広角画像の少なくとも一部の画像を前記表示手段に表示させ、前記検出手段によって検出された被写体部分の画像を前記表示手段に一覧表示させることで前記関連付ける処理を行う
ことを特徴とする。
(請求項8)
請求項8に記載の発明は、請求項7に記載の画像処理装置において、
前記表示手段に前記被写体部分の画像が一覧表示されている状態において、その被写体部分の中から任意の被写体部分の画像をユーザ操作に応じて選択する第2の選択手段を更に備え、
前記処理手段は、前記第2の選択手段によって任意の被写体部分の画像が選択された際に、前記第2の選択手段によって選択された前記被写体部分に対応する、前記広角画像の少なくとも一部の画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
(請求項9)
請求項9に記載の発明は、請求項7に記載の画像処理装置において、
前記補正手段は、前記第2の選択手段によって選択された被写体部分の画像を含む前記広角画像の所定範囲の歪みを更に補正し、
前記処理手段は、前記第2の選択手段によって任意の被写体部分の画像が選択された際に、前記補正手段によって補正された所定範囲の広角画像の補正画像を前記表示手段に表示することで前記関連付ける処理を行う、
ことを特徴とする。
(請求項10)
請求項10に記載の発明は、請求項7乃至9の何れか一項に記載の画像処理装置において、
前記処理手段は、前記被写体部分の画像が一覧表示されている状態から、前記広角画像の少なくとも一部の画像が表示されている状態になるように前記表示手段の表示を切り換えることで前記関連付ける処理を行う、
ことを特徴とする。
(請求項11)
請求項11に記載の発明は、請求項8又は9に記載の画像処理装置において、
前記処理手段は、前記被写体部分の画像が前記表示手段に一覧表示されている状態から、前記第2の選択手段によって選択された前記被写体部分に対応する、前記広角画像の少なくとも一部の画像が前記表示手段に表示されている状態になるように前記表示手段の表示を切り換えることで前記関連付ける処理を行う、
ことを特徴とする。
(請求項12)
請求項12に記載の発明は、請求項7乃至11の何れか1項に記載の画像処理装置において、
前記検出手段は、広角で撮影された広角画像内に含まれている所定の被写体を複数認識してその被写体部分の画像をその被写体毎に検出し、
前記処理手段は、前記検出手段によって検出された各被写体部分の画像を前記表示手段に一覧表示させる際に、前記広角画像上の各被写体の配列順序に応じてその順序どおりに並べて一覧表示させる、
ことを特徴とする。
(請求項13)
請求項13に記載の発明は、請求項6又は9に記載の画像処理装置において、
前記所定範囲をユーザ操作によって任意に移動させる移動指示手段を更に備え、
前記取得手段は、前記移動指示手段によって移動される所定範囲内の画像を取得する、
ことを特徴とする。
(請求項14)
請求項14に記載の発明は、請求項4乃至13の何れか1項に記載の画像処理装置において、
前記表示手段に前記広角画像又は前記広角画像に対応する対応画像がサムネイル画像として一覧表示されている状態においてそのサムネイル画像の中から任意の広角画像又は対応画像をユーザ操作に応じて選択する第1の選択手段を更に備え、
前記検出手段は、前記第1の選択手段によって選択された広角画像又は対応画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出し、
前記処理手段は、前記第1の選択手段によって任意の広角画像又は対応画像が選択された際に、前記検出手段によって検出された被写体部分の画像であって前記補正手段により補正された画像を前記表示手段に一覧表示する、
ことを特徴とする。
(請求項15)
請求項に記載の発明は、請求項4乃至14の何れか1項に記載の画像処理装置において、
前記広角画像又は前記広角画像に対応する対応画像がサムネイル画像として一覧表示されている状態においてそのサムネイル画像の中から任意の広角画像又は対応画像をユーザ操作に応じて選択する第1の選択手段を更に備え、
前記処理手段は、前記第1の選択手段によって任意の広角画像又は対応画像が選択された際に、その広角画像又は対応する広角画像と前記補正手段により補正された前記被写体部分の画像とを前記表示手段に同時に表示させることで前記関連付ける処理を行う、
ことを特徴とする。
(請求項16)
請求項に記載の発明は、請求項4乃至15の何れか1項に記載の画像処理装置において、
前記検出手段は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中に含まれている全ての所定の被写体を認識してその被写体部分の画像をその被写体毎に検出し、
前記処理手段は、前記広角画像群の中の何れかの広角画像がサムネイル表示されている場合に、前記検出手段によって検出された当該広角画像群内に含まれている全ての被写体部分の画像であって前記補正手段により補正された画像を、前記サムネイル表示されている広角画像に対応付けて表示させる、
ことを特徴とする。
(請求項17)
請求項に記載の発明は、請求項1乃至16の何れか1項に記載の画像処理装置において、
前記検出手段は、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中に含まれている全ての所定の被写体を認識してその被写体部分の画像をその被写体毎に検出する、
ことを特徴とする。
(請求項18)
請求項に記載の発明は、請求項17に記載の画像処理装置において、
撮影方向を変えて撮影された複数の広角画像を組とする広角画像群の中から一つの広角画像を指定する指定手段を更に備え、
前記処理手段は、前記指定手段によって指定された広角画像と、前記検出手段によって広角画像群の中から検出された全ての被写体部分の画像と、を関連付ける処理を行う、
ことを特徴とする。
(請求項19)
請求項19に記載の発明は、請求項1乃至18の何れか1項に記載の画像処理装置において、
前記処理手段は、前記広角画像と前記検出手段によって検出された前記被写体部分の画像とを対応付けて記録保存する処理を行う、
ことを特徴とする。
(請求項20)
請求項20に記載の発明は、請求項1乃至19の何れか1項に記載の画像処理装置において、
前記広角画像は、魚眼レンズを使用して撮影された魚眼画像である、
ことを特徴とする。
(請求項21)
請求項21に記載の発明は、
画像処理装置における画像処理方法であって、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する処理と、
前記検出された被写体部分の画像の歪を補正する処理と、
前記広角画像の少なくとも一部分の画像と前記補正された前記被写体部分の画像とを関連付ける処理と、
を含むことを特徴とする。
(請求項22)
請求項22に記載の発明は、
画像処理装置のコンピュータに対して、
広角で撮影された広角画像内に含まれている所定の被写体を認識してその被写体部分の画像を検出する機能と、
前記検出された被写体部分の画像の歪を補正する機能と、
前記広角画像の少なくとも一部分の画像と前記補正された前記被写体部分の画像とを関連付ける機能と、
を実現させるためのプログラムである。
20 本体装置
11、21 制御部
13、23 記憶部
23A プログラムメモリ
23C 画像管理テーブル
14、24 通信部
16 撮像部
16B 魚眼レンズ
16C 撮像素子
25 操作部
26 タッチ表示部
Claims (12)
- 広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段と、
前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段と、
前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第1の表示制御手段と、
前記第1の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する第1の選択手段と、
前記第1の選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第2の表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の選択手段によって選択された被写体の画像を含む広角画像の一部の画像の歪みを補正する補正手段を更に備え、
前記第2の表示制御手段は、前記補正手段によって補正された広角画像の一部の画像を前記表示手段に表示するよう制御する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記検出手段は、前記広角画像内に含まれている複数の被写体を認識して、その被写体部分の画像をその被写体毎に検出し、
前記第1の表示制御手段は、前記検出手段によって検出された各被写体の画像を前記表示手段に一覧表示させる際に、前記広角画像上の各被写体の配列順序に応じてその順序どおりに並べて一覧表示させる、
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記広角で撮影された広角画像から所定の範囲の画像を取得する取得手段を更に備え、
前記検出手段は、前記取得手段によって取得された所定の範囲の画像から複数の被写体の画像を検出する、
ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記取得手段が取得するべき所定の範囲の画像を、ユーザ操作によって任意に移動させる移動指示手段を更に備えることを特徴とする請求項4に記載の画像処理装置。
- 複数の前記広角画像をサムネイル画像として前記表示手段に一覧表示するよう制御する第3の表示制御手段と、
前記第3の表示制御手段によって一覧表示されている状態において前記サムネイル画像の中から任意のサムネイル画像をユーザ操作に応じて選択する第2の選択手段と、
前記第2の選択手段によって任意のサムネイル画像が選択されると、選択された任意のサムネイル画像に対応する広角画像に関連付けられた前記複数の被写体の画像を一覧表示するように前記表示手段を制御する第4の表示制御手段と、
を更に備えることを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記第1の表示制御手段は、前記処理手段によって関連付ける処理がされた前記広角画像と一覧表示されるべき複数の被写体の画像とを含んだ画像をサムネイル画像として一覧表示し、
前記第1の選択手段は、前記第1の表示制御手段によって一覧表示されたサムネイル画像のうち、特定のサムネイル画像に含まれる前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する、
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記検出手段は、前記広角画像に替えて、撮影方向を変えて撮影された複数の広角画像を組とする広角画像群に含まれている複数の被写体の画像を検出する、
ことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。 - 前記処理手段は、更に、前記広角画像と前記検出手段によって検出された前記被写体の画像とを対応付けて記録保存する処理を行う、
ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 - 前記広角画像は、魚眼レンズを使用して撮影された魚眼画像である、
ことを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。 - 画像処理装置における画像処理方法であって、
広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する処理と、
前記広角画像と前記検出された複数の被写体の画像とを関連付ける処理と、
前記関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する処理と、
前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する処理と、
任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する処理と、
を含むことを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
広角で撮影された広角画像内に含まれている複数の被写体の画像を検出する検出手段、
前記広角画像と前記検出手段によって検出された複数の被写体の画像とを関連付ける処理を行う処理手段、
前記処理手段によって関連付ける処理がされた前記広角画像と前記複数の被写体の画像とを一覧表示するように表示手段を制御する第1の表示制御手段、
前記第1の表示制御手段によって前記複数の被写体の画像が一覧表示されている状態において、前記複数の被写体の画像の中から任意の被写体の画像をユーザ操作に応じて選択する選択手段、
前記選択手段によって任意の被写体の画像が選択されると、選択された任意の被写体の画像を含む前記広角画像の一部の画像を前記表示手段に表示するよう制御する第2の表示制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/282,537 US10440307B2 (en) | 2015-12-22 | 2016-09-30 | Image processing device, image processing method and medium |
KR1020160138245A KR20170074742A (ko) | 2015-12-22 | 2016-10-24 | 화상 처리 장치, 화상 처리 방법 및 프로그램 |
CN201611033980.0A CN107018316B (zh) | 2015-12-22 | 2016-11-15 | 图像处理装置、图像处理方法以及存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015249410 | 2015-12-22 | ||
JP2015249410 | 2015-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017118472A JP2017118472A (ja) | 2017-06-29 |
JP6723512B2 true JP6723512B2 (ja) | 2020-07-15 |
Family
ID=59235032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016052641A Active JP6723512B2 (ja) | 2015-12-22 | 2016-03-16 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6723512B2 (ja) |
KR (1) | KR20170074742A (ja) |
CN (1) | CN107018316B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839601B2 (en) | 2016-03-31 | 2020-11-17 | Sony Corporation | Information processing device, information processing method, and program |
JP7086552B2 (ja) * | 2017-09-22 | 2022-06-20 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
JP6688277B2 (ja) * | 2017-12-27 | 2020-04-28 | 本田技研工業株式会社 | プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置 |
CN112805995A (zh) | 2018-10-02 | 2021-05-14 | 麦克赛尔株式会社 | 信息处理装置 |
JP7267764B2 (ja) * | 2019-02-08 | 2023-05-02 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 |
JP7419723B2 (ja) * | 2019-09-25 | 2024-01-23 | 株式会社リコー | 画像処理システム、画像処理装置および方法 |
CN110611749A (zh) * | 2019-09-30 | 2019-12-24 | 深圳市大拿科技有限公司 | 一种图像处理方法及装置 |
CN110572578A (zh) * | 2019-09-30 | 2019-12-13 | 联想(北京)有限公司 | 图像处理方法、装置、计算设备以及介质 |
CN113496458A (zh) * | 2020-03-18 | 2021-10-12 | 杭州海康威视数字技术股份有限公司 | 图像的处理方法、装置、设备以及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4674471B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
JP4268206B2 (ja) * | 2007-09-21 | 2009-05-27 | 富士通株式会社 | 魚眼レンズカメラ装置及びその画像歪み補正方法 |
JP4539729B2 (ja) * | 2008-02-15 | 2010-09-08 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
JP2012029180A (ja) * | 2010-07-27 | 2012-02-09 | Nippon Seiki Co Ltd | 周辺画像表示装置及びその表示方法 |
CN103247031B (zh) * | 2013-04-19 | 2016-03-09 | 华为技术有限公司 | 一种畸变图像校正的方法、终端及系统 |
JP6270111B2 (ja) * | 2013-10-17 | 2018-01-31 | 株式会社熊平製作所 | 移動体表示システムおよび移動体表示プログラム |
CN105141827B (zh) * | 2015-06-30 | 2017-04-26 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
CN104994281B (zh) * | 2015-06-30 | 2017-09-19 | 广东欧珀移动通信有限公司 | 一种人脸畸变校正的方法及终端 |
-
2016
- 2016-03-16 JP JP2016052641A patent/JP6723512B2/ja active Active
- 2016-10-24 KR KR1020160138245A patent/KR20170074742A/ko unknown
- 2016-11-15 CN CN201611033980.0A patent/CN107018316B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107018316B (zh) | 2021-02-05 |
JP2017118472A (ja) | 2017-06-29 |
KR20170074742A (ko) | 2017-06-30 |
CN107018316A (zh) | 2017-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6723512B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10440307B2 (en) | Image processing device, image processing method and medium | |
JP6627352B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP5340895B2 (ja) | 画像データ作成支援装置および画像データ作成支援方法 | |
JP5564384B2 (ja) | 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法 | |
JP6942940B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20150009349A1 (en) | Method and apparatus for previewing a dual-shot image | |
JP2019012881A (ja) | 撮像制御装置及びその制御方法 | |
JP6677900B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008245093A (ja) | デジタルカメラ、デジタルカメラの制御方法及び制御プログラム | |
US9374525B2 (en) | Shooting apparatus and shooting method | |
JP7350510B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP7350511B2 (ja) | 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体 | |
JP5872415B2 (ja) | 表示端末、操作受付方法及びプログラム | |
JP2013232830A (ja) | 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム | |
JP6324079B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5910639B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6450604B2 (ja) | 画像取得装置及び画像取得方法 | |
CN114625468A (zh) | 增强现实画面的展示方法、装置、计算机设备及存储介质 | |
JP2021129293A (ja) | 画像処理装置、画像処理システム、画像処理方法およびプログラム | |
JP2013168969A (ja) | 画像表示方法、および画像表示装置 | |
JP5967422B2 (ja) | 撮像装置及び撮像処理方法並びにプログラム | |
JP2015019215A (ja) | 撮像装置及び撮像方法 | |
JP5370577B2 (ja) | 構図選択装置及びプログラム | |
WO2022054453A1 (ja) | 撮像装置、撮像システム、及び撮像装置の設定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6723512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |