JP6455474B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6455474B2
JP6455474B2 JP2016061437A JP2016061437A JP6455474B2 JP 6455474 B2 JP6455474 B2 JP 6455474B2 JP 2016061437 A JP2016061437 A JP 2016061437A JP 2016061437 A JP2016061437 A JP 2016061437A JP 6455474 B2 JP6455474 B2 JP 6455474B2
Authority
JP
Japan
Prior art keywords
imaging device
positional relationship
image
optical axis
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016061437A
Other languages
English (en)
Other versions
JP2017175507A5 (ja
JP2017175507A (ja
Inventor
田中 仁
仁 田中
健士 岩本
健士 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016061437A priority Critical patent/JP6455474B2/ja
Priority to US15/391,952 priority patent/US20170278263A1/en
Priority to CN201710072402.6A priority patent/CN107231550A/zh
Publication of JP2017175507A publication Critical patent/JP2017175507A/ja
Publication of JP2017175507A5 publication Critical patent/JP2017175507A5/ja
Application granted granted Critical
Publication of JP6455474B2 publication Critical patent/JP6455474B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/30Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B7/31Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、特殊効果の画像を得る画像処理装置、画像処理方法及びプログラムに関する。
複数の画像から特殊効果の画像(パノラマ画像、3D(3次元)画像、全天球画像など)を生成する技術として、例えば、特許文献1に記載されているように2台の撮像装置を備え、この各撮像装置の撮影角度と各撮像装置の間隔をユーザが変更可能な構成とし、特殊効果の画像を得る各種の撮影モードの中から所望するモードがユーザ操作によって選択されると、各撮像装置の撮影角度と間隔がその選択モードに合致するかを判別し、合致しなければ、その旨を警告し、合致すれば、その選択モードに対応する画像処理を行って特殊効果の画像を得るようにした技術が知られている。
特開2005―223812号公報
しかしながら、上述した特許文献の技術は、予めユーザが選択したモードに基づいた警告にしたがって、各撮像装置の撮影角度と間隔をユーザが調整するもので、その調整作業を支援することができるが、事前のモードの選択が必要となるため、必ずしもユーザの利便性が高いとは言えなかった。
上述の課題を鑑みて、本発明は事前に所望する特殊効果モードを選択する操作を行う事無く、ユーザ所望の特殊効果の画像を得ることを目的とした。
本発明の課題は、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことである。
上述した課題を解決するために本発明は、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別手段と、
記第1の判別手段による判別結果に基づいて画像の合成形式を設定する設定手段と、
前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定手段によって設定された合成形式で合成する制御を行う合成制御手段と、
を具備し、
前記情報取得手段は、前記位置情報として、前記第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報、及び前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を取得し、
前記所定の条件とは、前記第1の判別手段により、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別されること、且つ、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内であると判別されることを特徴とする画像処理装置。
本発明によれば、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことが可能となる。
(1)は、画像処理装置として適用したデジタルカメラにおいてそのカメラを構成する撮像装置10と本体装置20とを一体的に組み合わせた状態を表した外観図、(2)は、撮像装置10と本体装置20とを分離した状態を表した外観図。 (1)は、各撮像装置10の概略構成を示すブロック図、(2)は、本体装置20の概略構成を示すブロック図。 (1−1)、(1−2)、(2)、(3)は、2台の撮像装置10の相対的な位置関係を説明するための図。 (1)、(2)は、図3(1−1)、(1−2)に示した位置関係で撮影した魚眼画像を例示した図。 撮影モードに切り替えられ際に実行開始されるデジタルカメラの動作(第1実施形態の特徴的な動作)を説明するためのフローチャート。 図5に続く動作を示したフローチャート。 第2実施形態において、画像処理装置(PC)30と撮像装置(デジタルカメラ)40の概略構成を示したブロック図。 撮像装置40側において撮影モードに切り替えられた際に実行開始される動作(第2実施形態の特徴的な動作)を説明するためのフローチャート。 画像処理装置30側において、2つの画像を合成して再生する合成再生がユーザ操作によって指定された際に実行開始される動作(第2実施形態の特徴的な動作)を説明するためのフローチャート。 合成処理(図9のステップC3)を詳述するためのフローチャート。 第3実施形態において(1)、(2)は、2台の撮像装置(デジタルカメラ)50を支持する画像処理装置(支持装置:アタッチメント)の概略構成を示した外観図。 第3実施形態において(1)〜(2)は、2台の撮像装置50の相対的な位置関係(開閉角度)が所定の位置関係である場合を示した図。 第3実施形態において(1)、(2)は、2台の撮像装置50、支持装置60の概略構成を示したブロック図。 撮像装置50側で撮影が行われる毎に実行開始される支持装置60側の動作(第3実施形態の特徴的な動作)を示したフローチャート。 各実施形態の変形例を説明するための図で、画像解析によって光軸方向を判定する処理を示したフローチャート。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(第1実施形態)
まず、図1〜図6を参照して本発明の第1実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、この画像処理装置は、後述する撮像部を備える撮像装置10と、後述する表示部を備える本体装置20とに分離可能なセパレート型デジタルカメラである。図1は、画像処理装置(デジタルカメラ)の外観図で、図1(1)は、撮像装置10と本体装置20とを一体的に組み合わせた状態を示し、図1(2)は、撮像装置10と本体装置20とを分離した状態を示した図である。撮像装置10は、例えば、その筐体全体が箱型を成すもので、第1実施形態においては、基本的に同一構成の撮像装置10を2台設けた場合を示し、ユーザは、その1台を使用して撮影を行うか、2台を同時に使用して撮影を行うかを任意に選択可能であるが、本実施形態においては、以下、2台の撮像装置10を使用して撮影を行う場合について説明する。
このセパレート型デジタルカメラを構成する撮像装置10と本体装置20とは、それぞれが利用可能な無線通信を用いてペアリング(無線接続認識)が可能なもので、無線通信としては、例えば、無線LAN(Wi−Fi)又はBluetooth(登録商標)を使用している。なお、撮像装置10と本体装置20の接続方法は無線方式に限られず、ケーブルなどの有線接続で通信させるように構成してもよい。
本体装置20側では、撮像装置10側で撮影された画像を受信取得して、この撮影画像をライブビュー画像として表示する。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像(ライブビュー画像:保存前の画像)を含む広義の画像を意味している。
図2(1)は、撮像装置10の概略構成を示すブロック図であり、図2(2)は、本体装置20の概略構成を示すブロック図である。
図2(1)において、撮像装置10は、静止画像の撮影の他に、動画像の撮影が可能なもので、制御部11、電源部12、記憶部13、通信部14、操作部15、撮像部16、姿勢検出部17、磁気センサ18を備えている。制御部11は、電源部(二次電池)12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこの撮像装置10の全体動作を制御するもので、この制御部11には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
記憶部13は、例えば、ROM、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されている。なお、記憶部13は、例えば、SDカード、USBメモリなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。通信部14は、撮影画像を本体装置20側に送信したり、本体装置20からの操作指示信号などを受信したりする。操作部15は、電源スイッチなどの基本的な操作キーを備えている。
撮像部16は、被写体を高精細に撮影可能な撮像装置を構成するもので、この撮像部16のレンズユニット16Aには、魚眼レンズ16B、撮像素子16Cなどが設けられている。なお、本実施形態のカメラは、通常の撮像レンズ(図示省略)と魚眼レンズ16Bとが交換可能なもので、図示の例は、魚眼レンズ16Bを装着した状態を示している。この魚眼レンズ16Bは、例えば、3枚構成のレンズ系からなり、画角が略180゜という広範囲な撮影が可能な円周魚眼レンズ(全周魚眼レンズ)であり、この魚眼レンズ16Bによって撮影された広角画像(魚眼画像)の全体は、円形の画像となる。この場合、射影方式を採用しているために、魚眼レンズ16Bで撮影された広角画像(魚眼画像)は、その中心から端部に向かう程、大きく歪んだものとなる。
すなわち、魚眼レンズ16Bは、その画角が略180゜という広範囲な撮影が可能な円周魚眼レンズであるため、魚眼画像の全体は、円形の画像となり、その中心部から端部(周辺部)の方に向かうほど、大きく歪んだものとなると共に、魚眼画像の中心部に比べてその周辺部は縮小された画像となるため、ユーザがその周辺部の内容を詳細に目視確認しょうとしてもその確認は極めて困難なものとなる。このような魚眼レンズ16Bによる被写体像(光学像)が撮像素子(例えば、CMOS又はCCD)16Cに結像されると、この撮像素子16Cによって光電変換された画像信号(アナログ値の信号)は、図示省略のA/D変換部によってデジタル信号に変換されると共に、所定の画像表示処理が施された後、本体装置20側に送信されてモニタ表示される。
姿勢検出部17は、例えば、加速度センサ及び角速度センサを備え、撮像装置10の撮影時における姿勢として魚眼レンズ16Bの光軸方向を検出するもので、その加速度センサは、重力方向に対する光軸方向を検出し、角速度センサは、加速度センサでは反応しない回転角速度を測定して光軸方向を検出する。この姿勢検出部17によって検出された姿勢情報(魚眼レンズ16Bの光軸方向)は、通信部14から本体装置20側に送信される。磁気センサ18は、魚眼レンズ16Bの反対側(カメラの裏面側)において魚眼レンズ16Bの光軸上に配設されたもので、磁石、ホール素子の何れか一方を有し、後述するが、磁界の強さやその方向に基づいて2台の撮像装置10の光軸の位置ずれを検出したり、2台の撮像装置10の間隔を検出したりするセンサである。
図2(2)において、本体装置20は、デジタルカメラのコントローラを構成するもので、撮像装置10によって撮影された画像を表示する再生機能を有し、制御部21、電源部22、記憶部23、通信部24、操作部25、タッチ表示部26を備えている。制御部21は、電源部(二次電池)22からの電力供給によって動作し、記憶部23内の各種のプログラムに応じてこの本体装置20の全体動作を制御するもので、この制御部21には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。記憶部23は、例えば、ROM、フラッシュメモリなどを有する構成で、本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ23A、この本体装置20が動作するために必要となる各種の情報(例えば、フラグなど)を一時的に記憶するワークメモリ23Bなどを有している。
通信部24は、撮像装置10との間で各種のデータの送受信を行う。操作部25は、電源キー、レリーズキー、露出やシャッタスピードなどの撮影条件を設定する設定キー、後述するキャンセルキーなどを備えたもので、制御部21は、この操作部25からの入力操作信号に応じた処理を実行したり、入力操作信号を撮像装置10に対して送信したりする。タッチ表示部26は、高精細液晶などのディスプレイ26A上にタッチパネル26Bを積層配置した構成で、その表示画面は、撮影された画像(魚眼画像)をリアルタイムに表示するモニタ画面(ライブビュー画面)となったり、撮影済み画像を再生する再生画面となったりする。
図3は、2台の撮像装置10の相対的な位置関係を説明するための図で、図3(1−1)は、2台の撮像装置10を斜め方向から見た斜視図、図3(1−2)は、撮像装置10の一側方向から見た側面図である。
図3(1−1)、(1−2)は、2台の撮像装置10の光軸方向が逆方向となる位置関係、つまり、撮像装置10の光軸方向と重力方向とが垂直、又は垂直に対して所定の許容範囲内にある状態において、それらの光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる配置関係(第1の位置関係)を示している。図示の例では、更に、この第1の位置関係(逆方向の位置関係)において、各撮像装置10の光軸が一致、又は略一致する場合(光軸の位置ずれが許容範囲内にある場合)を示していると共に、2台の撮像装置10の裏面同士を接触、又は接近させた場合を示している。
図4は、図3(1−1)、(1−2)に示した第1の位置関係(逆方向の位置関係)において撮影した魚眼画像を例示したもので、2台の撮像装置10のうち、図4(1)は、その一方の撮影画像(魚眼画像)を示し、図4(2)は、他方の撮影画像(魚眼画像)を示している。このような位置関係で各撮像装置10が魚眼レンズ16Bを使用して撮影を行うと、前方180°を撮影した魚眼画像と、後方180°を撮影した魚眼画像が得られる。つまり、前方180°の撮影と、後方180°の撮影によってその全体として撮影範囲が360°となる画像(全天球の画像)が得られる。
図3(2)は、2台の撮像装置10の光軸方向が同方向となる位置関係、つまり、撮像装置10の光軸方向と重力方向とが垂直、又は垂直に対して所定の許容範囲内にある状態において、2台の撮像装置10の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる配置関係(第2の位置関係)を示している。図示の例は、更に、この第2の位置関係(同方向の位置関係)において、各撮像装置10の間隔を狭めて(第1の距離以下)に接近させた状態を示している。
このような位置関係で各撮像装置10が撮影を行うと、同一の撮影範囲において視点をずらして撮影した各画像(視差を持った各画像)が得られる。図3(3)は、第2の位置関係(同方向の位置関係)において、各撮像装置10の間隔を大きく(第2の距離以上)空けて撮影した場合を示している。なお、第1の距離、第2の距離は、第1の距離<第2の距離の関係にある。このような位置関係で各撮像装置10が撮影を行うと、撮影範囲が全く異なる画像、又は撮影範囲の一部分(周辺部分)が重なる画像が得られる。
本体装置20は、2台の撮像装置10からその姿勢検出部17によって検出された姿勢情報(光軸方向)を取得して、2台の撮像装置10の相対的な位置関係を判定し、その位置関係が所定の関係、つまり、図3(1−1)、(2)、(3)に示した相対的な位置関係であれば、その所定の位置関係で撮像された各画像を合成対象の画像としてその合成形式を設定し、所定の位置関係でなければ、撮像された各画像を合成対象とせずに非合成の画像(通常の画像)とする制御を行うようにしている。
次に、第1実施形態における画像処理装置(デジタルカメラ)の動作概念を図5及び図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図5及び図6は、画像処理装置(デジタルカメラ)の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図5及び図6のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
図5及び図6は、撮影モードに切り替えられ際に実行開始されるデジタルカメラの動作(第1実施形態の特徴的な動作)を説明するためのフローチャートである。
まず、本体装置20側の制御部21は、2台の撮像装置10と通信可能な状態において、各撮像装置10から取得した画像をライブビュー画像としてタッチ表示部26に表示させる動作を開始する(図5のステップA1)。この状態でレリーズキーの半押し操作が行われたかを調べ(ステップA2)、その半押し操作が行われるまで待機状態となる。いま、レリーズキーが半押し操作されると(ステップA2でYES)、各撮像装置10に対して撮影準備処理を指示してAF(自動焦点処理)、AE(自動露出処理)などを行わせる(ステップA3)。
そして、各撮像装置10からその姿勢検出部17の検出結果として姿勢情報(光軸方向)を取得して(ステップA4)、各撮像装置10の光軸方向は第1の位置関係(逆方向の位置関係)にあるかを調べ(ステップA5)、第1の位置関係であれば(ステップA5でYES)、撮像装置10からその磁気センサ18の検出結果(磁界の強さや方向)を取得し(ステップA6)、その検出結果(磁界の強さや及び方向)に基づいて各撮像装置10が離れ過ぎていない(許容範囲内か)を調べると共に、それらの光軸の位置ずれは許容範囲内であるかを調べる(ステップA7)。ここで、各撮像装置10が離れ過ぎていたり、光軸の位置がずれ過ぎていたりしていれば(ステップA7でNO)、2台の撮像装置10によって撮像される各画像を合成処理の対象とせずに非合成とするために合成形式フラグ(図示省略)に非合成を指定する情報として“0”を設定する(ステップA9)。
また、第1の位置関係において(ステップA5でYES)、各撮像装置10の間隔及び光軸の位置ずれが許容範囲内であれば(ステップA7でYES)、第3(1)に示すように2台の撮像装置10は、その裏面同士を接触、又は接近させて配置した状態にある(所定の位置関係にある)と判断して、2台の撮像装置10によって撮像される各画像を合成処理の対象としてその合成形式を設定する(ステップA8)。この場合、第1の位置関係に適した合成形式、つまり、合成形式フラグに全天球合成を指定する情報として“1”を設定する。例えば、図4(1)に示した前方180°を撮影した魚眼画像と、図4(2)に示した後方180°を撮影した魚眼画像とを繋ぎ合せることにより撮影範囲が360°となる画像(全天球画像)を得る合成処理を指定する情報として合成形式フラグに“1”を設定する。
一方、各撮像装置10の光軸方向が第1の位置関係でなければ(ステップA5でNO)、第2の位置関係(同方向の位置関係)であるかを調べる(ステップA10)。ここで、第2の位置関係でもなければ(ステップA10でNO)、2台の撮像装置10によって撮像される各画像を非合成とするために合成形式フラグに“0”を設定するが(ステップA9)、第2の位置関係であれば(ステップA10でYES)、2台の撮像装置10から撮像画像を取得して(ステップA11)、各画像を解析し、その解析結果を比較しながら両者の類似度を判定し(ステップA12)、各画像の中央部分の類似度は所定の閾値以上(類似度が高い)であるかを調べる(ステップA13)。
ここで、各画像の中央部分の類似度が所定の閾値以上、つまり、両者の類似度が高ければ(ステップA13でYES)、図3(2)に示したように2台の撮像装置10は、第2の位置関係においてその間隔を狭めて(第1の距離以下)に接近させて配置した状態であり、かつ同一の撮影範囲を視点をずらして撮影する状態にある(所定の位置関係にある)と判断して、ステップA14に移り、一方の画像を左眼用の画像とし、他方の画像を右眼用の画像とする3D(3次元)合成処理を指定する情報として合成形式フラグに“2”を設定する。
また、第2の位置関係において(ステップA10でYES)、各画像の中央部分の類似度が所定の閾値未満でその部分の類似度が高くなければ(ステップA13でNO)、各画像の周辺部分の類似度は所定の閾値以上(類似度が高い)かを調べる(ステップA15)。ここで、周辺部分の類似度も所定の閾値未満であれば(ステップA15でNO)、2台の撮像装置10によって撮像される各画像を非合成とするために合成形式フラグに“0”を設定するが(ステップA9)、周辺部分の類似度が所定の閾値以上で類似度が高ければ(ステップA15でYES)、図3(3)に示したように各撮像装置10は、その間隔を大きく(第2の距離以上)空けて配置した状態であり、かつ撮影範囲を広げて撮影する状態にある(所定の位置関係にある)と判断して、ステップA16に移り、2枚の画像を並べた広角のパノラマ合成処理を指定する情報として合成形式フラグに“3”を設定する。
このように各撮像装置10の相対的な位置関係に応じてその位置関係に適した合成形式を設定すると、図6のフローに移り、設定した合成形式をライブビュー画面にアイコンを表示したりメッセージを表示したりすることによって報知する(ステップA17)。すなわち、非合成を報知したり、全天球合成、3次元合成、パノラマ合成の何れかを報知したりする。この状態において、レリーズキーが全押し操作されたかを調べたり(ステップA18)、設定した合成形式を無効とするキャンセルキーが操作されたかを調べたりする(ステップA19)。
いま、キャンセルキーが操作された場合には(ステップA19でYES)、設定した合成形式を無効とするために図5のステップA2に戻るが、レリーズキーが全押し操作された場合には(ステップA18でYES)、その全押し操作時に各撮像装置10によって撮像された各画像を取得すると共に(ステップA20)、上述の合成形式フラグを読み出して(ステップA21)、合成形式フラグは“0”であるかを調べる(ステップA23)。ここで、合成形式フラグが“0”であれば(ステップA22でYES)、2台の撮像装置10によって撮像された各画像を合成処理の対象とせずに非合成とするために、各画像を個別に現像処理して標準サイズのファイルに変換した後、記憶部23の記録メディアに記録・保存する処理を行う(ステップA28)。
また、合成形式フラグが“0”でなければ(ステップA22でNO)、更に合成形式を判別し(ステップA23)、合成形式フラグが“1”であれば、2台の撮像装置10によって撮像された各画像を繋ぎ合せる全天球合成処理を行って全天球合成画像を生成する(ステップA24)。この場合、本実施形態においては撮像された各魚眼画像の歪みを補正する処理を行って、歪みの無い画像を生成してから合成処理を行うようにしている(以下、同様)。合成形式フラグが“2”であれば、3D合成処理を行って3D合成画像を生成する(ステップA25)。合成形式フラグが“3”であれば、パノラマ合成処理を行ってパノラマ合成画像を生成する(ステップA26)。これによって生成した合成画像を現像処理して所定サイズのファイルに変換した後、記憶部23の記録メディアに記録保存する(ステップA27)。なお、合成画像のみを記録保存するか、合成画像と共に各魚眼画像も記録保存するかは、予めユーザ操作によって任意に設定された保存形式に応じて行うようにしている。
このようにして画像を記録保存する処理が終わると、撮影モードが解除されたかを調べ(ステップA29)、撮影モードのままであれば(ステップA29でNO)、図5のステップA2に戻り、以下、上述の動作を繰り返すが、撮影モードが解除された場合には(ステップA29でYES)、図5及び図6のフローから抜ける。
以上のように、第1実施形態において本体装置20は、2台の撮像装置10の位置関係に関する情報に基づいて、各撮像装置10の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で各撮像装置10によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行うようにしたので、ユーザが特殊効果の画像を容易に得ることができるような制御を行うことが可能となる。
また、所定の位置関係であれば、その位置関係で各撮像装置10によって撮像される各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で各撮像装置10によって撮像される画像を合成処理の対象とせずに非合成とする制御を行うようにしたので、特殊効果撮影の画像を得るか否かをユーザ操作によって指示しなくても容易に制御することができ、様々な特殊効果の撮影とそれ以外の通常の撮影に対しても容易に対応することが可能となる。
本体装置20は、各撮像装置10の光軸方向に関する光軸情報を取得し、2台の撮像装置10の位置関係と、光軸方向とに基づいて、2台の撮像装置10の相対的な位置関係が所定の位置関係であるかを判定するようにしたので、所定の位置関係であるかを適切に判定することができる。
各撮像装置10の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、各撮像装置10の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係を所定の位置関係としたので、各撮像装置10の相対的な位置関係が全天球合成、3D合成、パノラマ合成に適し、かつユーザにとっても分かりやすい位置関係となる。
本体装置20は、各撮像装置10が第1の位置関係にある場合において、更に、各撮像装置10の光軸の位置ずれが許容範囲内であるかを判別し、その許容範囲内であれば、所定の位置関係にあると判別するようにしたので、所定の合成処理に適した位置関係を的確に特定することができる。
本体装置20は、各撮像装置10が第2の位置関係にある場合において、更に、各撮像装置10が所定の間隔であるか否かを判別し、所定の間隔であれば、所定の位置関係にあると判別するようにしたので、所定の合成処理に適した位置関係を的確に特定することができる。
本体装置20は、各撮像装置10が第2の位置関係にある場合において、更に、各撮像装置10により撮像された各画像を解析してそれらの類似度を求め、この類似度に基づいて各撮像装置10が所定の間隔であるか否かを判別するようにしたので、各撮像装置10の間隔実際に計測しなくても各画像を解析するだけで所定の間隔か否かを判別することができる。
本体装置20は、各画像を解析して所定の間隔か否かを判別する場合に、各画像の中央部分の類似度が高い場合には、所定の間隔にあると判別するようにしたので、所定の合成処理に適した間隔を的確に特定することができる。
本体装置20は、各画像を解析して所定の間隔か否かを判別する場合に、各画像の周辺部分の類似度が高い場合には、所定の間隔にあると判別するようにしたので、所定の合成処理に適した間隔を的確に特定することができる。
本体装置20は、各撮像装置10が第1の位置関係において、それらの光軸の位置ずれが許容範囲内であれば、各撮像装置10によって撮像された各魚眼画像から全天球の画像を生成する合成形式を設定するようにしたので、全天球画像を生成する合成処理に適した位置関係を的確に特定することができる。
本体装置20は、各撮像装置10が第2の位置関係において、各撮像装置10が所定の間隔であれば、その所定の間隔の大きさに応じて、各撮像装置10によって撮像された各画像からパノラマ画像、又は3次元画像を生成する合成形式を設定するようにしたので、パノラマ画像、又は3次元画像を生成する合成処理に適した位置関係を的確に特定することができる。
本体装置20は、設定した合成形式にしだかって合成処理を行うようにしたので、撮影時に合成した画像を記録保存することが可能となる。
本体装置20は、設定した合成形式を報知するようにしたので、ユーザにあっては設定された合成形式を確認することができ、各撮像装置10の配置を変えるだけで合成形式を変更することが可能となる。
本体装置20は、各撮像装置10に備えられている姿勢検出部17から光軸方向に関する情報を取得するようにしたので、精度の良い光軸方向を取得することができる。
<変形例1>
なお、上述した第1実施形態においては、撮像装置10と本体装置20とに分離可能なセパレート型デジタルカメラに適用した場合を示したが、撮像装置10と本体装置20を一体化したカメラ(例えば、コンパクトカメラ)に適用するようにしてもよい。この場合、2台のカメラの一方がマスタカメラとなり、他方がスレーブカメラとなって短距離通信が可能な構成とすればよい。すなわち、マスタカメラは、レリーズキーの半押し操作で撮影準備処理を行うと共に、スレーブカメラに対して撮影準備処理を指示し、更に、自カメラから取得した光軸方向とスレーブカメラから取得した光軸方向に基づいて、2台のカメラの相対的な位置関係を判別するようにすればよい。このようにマスタカメラとスレーブカメラとの間においても第1実施形態と同様、2台のカメラによって撮像される各画像から特殊効果撮影の画像を得るか否かをユーザが指示しなくても容易に制御することができ、様々な特殊効果撮影に対応することが可能となる。
上述した第1実施形態においては、各撮像装置10の光軸方向が第2の位置関係の場合に、各画像の中央部分の類似度は所定の閾値以上で類似度が高ければ(図5のステップA13でYES)、2台の撮像装置10は、ステップA14に移り、3D合成処理を指定するために合成形式フラグに“2”を設定するようにしたが、各画像の中央部分の類似度の他に、更に、各画像の周辺部分の類似度が所定の閾値以上で類似度が高いか否かを判別し、その周辺部分の類似度が高いことを条件にステップA14に移るようにしてもよい。
上述した第1実施形態においては、各撮像装置10によって撮像された各画像を解析して、その類似度に応じて各撮像装置10が所定の間隔にあるか否かを判別するようにしたが、勿論、各撮像装置10の間の距離を計測して所定の間隔であるか否か判別するようにしてもよい。例えば、各撮像装置10にGPS(Global Positioning System)機能を備える以外に、各撮像装置10に短距離通信部を備え、各撮像装置10が通信可能なエリア内に存在しているか否かに基づいて各撮像装置10が所定の間隔であるか否かを判別するようにしてもよい。
更に、上述した第1実施形態においては、画像処理装置として、2台の撮像装置10と本体装置20とに分離可能なセパレート型デジタルカメラに適用した場合を示したが、2台の撮像装置10を本体装置20に組み込んで一体化したデジタルカメラであってもよい。この場合においても各撮像装置10の光軸方向を可変する構造(第1の位置関係から第2の位置関係の間で可変する構造)とすればよい。
(第2実施形態)
以下、この発明の第2実施形態について図7〜図10を参照して説明する。
なお、上述した第1実施形態においては、撮影時に合成形式を判別して合成処理を行って合成画像を記録保存するようにしたが、この第2実施形態においては、画像処理装置としてノート型のPC(パーソナルコンピュータ)30に適用したもので、このPCは、撮像装置(デジタルカメラ)40によって撮影された撮影済み画像(保存画像)を取得して表示する場合に、合成形式を判別して合成処理を行い、その合成画像を表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
図7は、画像処理装置(PC)30と撮像装置(デジタルカメラ)40の概略構成を示したブロック図である。
画像処理装置(PC)30と撮像装置(デジタルカメラ)40は、第1実施形態で示した撮像装置10と本体装置20に基本的には同様の構成であるため、その詳細な説明は省略する。図7(1)は、画像処理装置30の構成を示したもので、画像処理装置30は、制御部31、電源部32、記憶部33、通信部34、操作部35、表示部36を備えている。図7(2)は、撮像装置40の構成を示したもので、撮像装置40は、制御部41、電源部42、記憶部43、通信部44、操作部45、魚眼レンズ付の撮像部46、姿勢検出部47、磁気センサ28を備えている。
図8は、撮像装置40側において撮影モードに切り替えられた際に実行開始される動作(第2実施形態の特徴的な動作)を説明するためのフローチャートである。
まず、撮像装置40の制御部41は、魚眼レンズ付の撮像部46から取得した魚眼画像をライブビュー画像として表示させる動作を開始する(ステップB1)。この状態において、レリーズキーが操作されると(ステップB2でYES)、ステップB3に移、レリーズキー操作時の撮像画像を取得して、現像処理を行い、標準サイズのファイルに変換する処理を行う。
そして、姿勢検出部47から姿勢情報(光軸方向)を取得し(ステップB4)、また、磁気センサ28からその検出結果を取得する(ステップB5)。この姿勢情報(光軸方向)及び磁気センサ検出結果を撮影画像にそのEXIF情報として付加して(ステップB6)、記憶部43の記録メディアに記録保存させる(ステップB7)。以下、撮影モードが解除されたかを調べ(ステップB8)、撮影モードのままであれば(ステップB8でNO)、上述のステップB2に戻り、以下、上述の動作を繰り返す。
図9は、画像処理装置30側において2つの画像を合成して再生する合成再生モードがユーザ操作によって指定された際に実行開始される動作(第2実施形態の特徴的な動作)を説明するためのフローチャートである。
まず、画像処理装置30の制御部31は、合成画像を生成して再生する合成再生モードがユーザ操作によって指定されると、各種の画像を一覧表示するが、その際、合成対象として関連し合う一対の画像を対応付けて一覧表示させる(ステップC1)。すなわち、各画像のEXIF情報(撮影日時)を参照し、撮影日時が同一の画像を関連性の高い画像として特定し、この関連する一対の画像を対応付けて一覧表示させる。この一覧画面の中から任意の2つの画像がユーザ操作によって選択されると(ステップC2)、次のステップC3に移り、2つの画像を合成する処理を行う。
図10は、合成処理(図9のステップC3)を詳述するためのフローチャートである。
まず、制御部31は、ユーザ操作によって選択された各画像からそのEXIF情報(光軸方向)を取得し(ステップD1)、この各光軸方向に基づいて、各撮像装置40の光軸方向は撮影時に第1の位置関係(逆方向の位置関係)にあったかを調べる(ステップD2)。ここで、第1の位置関係で撮影が行われたものと判断した場合には(ステップD2でYES)、各画像のEXIF情報からその磁気センサ検出結果(磁界の強さや方向)を取得し(ステップD3)、その検出結果(磁界の強さや及び方向)に基づいて、各撮像装置40が離れ過ぎていなかったか(許容範囲内か)を調べると共に、それらの光軸の位置ずれは許容範囲内であったかを調べる(ステップD4)。
第1の位置関係において、各撮像装置40が離れ過ぎ、光軸の位置がずれ過ぎた状態で撮影されたものと判断した場合には(ステップD4でNO)、選択された2つの画像を合成処理の対象としないために非合成フラグ(図示省略)を設定(オン)する処理を行う(ステップD5)。また、第1の位置関係において、各撮像装置40の間隔及び光軸の位置ずれが許容範囲内で撮影されたものと判断した場合には(ステップD4でYES)、各撮像装置40は、その裏面同士を接触、又は接近させて配置した状態で撮影されたものと判断して、ステップD6に移り、選択された2つの画像を合成処理の対象として指定して、2つの画像を全天球合成する処理を行う。
一方、各撮像装置40の光軸方向が第1の位置関係でなければ(ステップD2でNO)、第2の位置関係(同方向の位置関係)であったかを調べるが(ステップD7)、第2の位置関係でもなければ(ステップD7でNO)、選択された2つの画像を非合成として設定するが(ステップD5)、第2の位置関係であれば(ステップD7でYES)、選択された2つの画像を解析し、その解析結果を比較しながら両者の類似度を判定し(ステップD8)、2つの画像の中央部分の類似度は所定の閾値以上(類似度が高い)であるかを調べる(ステップD9)。ここで、2つの画像の中央部分の類似度が所定の閾値以上で類似度が高ければ(ステップD9でYES)、ステップD10に移り、選択された2つの画像を合成処理の対象として指定して、この2つの画像を3D合成する処理を行う。
また、第2の位置関係において(ステップD7でYES)、2つの画像の中央部分の類似度が所定の閾値未満でその部分の類似度が高くなければ(ステップD9でNO)、2つの画像の周辺部分の類似度が所定の閾値以上(類似度が高い)であるかを調べる(ステップD11)。ここで、周辺部分の類似度も所定の閾値未満であれば(ステップD11でNO)、各画像を非合成として設定するが(ステップD5)、周辺部分の類似度が所定の閾値以上で類似度が高ければ(ステップD11でYES)、ステップD12に移り、選択された2つの画像を合成処理の対象として指定して、この2つの画像をパノラマ合成する処理を行う。
このような合成処理(図9のステップC3)が終ると、次のステップC4に移り、上述した非合成フラグはオンされているか、つまり、非合成が設定されているかを調べ、非合成フラグがオンされていれば(ステップC4でYES)、選択された画像を個別に表示する再生処理を行う(ステップC6)。この場合、合成対象として選択された2つの画像を順次指定して一定時間毎に切り替え表示させるようにしている。また、非合成が設定されていなければ(ステップC4でNO)、合成処理によって合成された画像を表示する処理に移る(ステップC5)。そして、再生終了がユーザ操作により指示されたかを調べ(ステップC7)、再生終了が指示された場合には(ステップC7でYES)、図9のフローから抜けるが、再生終了が指示されなければ(ステップC7でNO)、上述のステップC1に戻り、以下、上述の動作を繰り返す。
以上のように、第2実施形態において画像処理装置30の制御部31は、複数の画像を取得してその付帯情報(EXIF情報)を評価し、その評価結果に基づいて、複数の画像を合成処理の対象画像として評価結果に応じた合成形式を設定するか、複数の画像を合成処理の対象とせずに非合成とするかの制御を行うようにしたので、特殊効果撮影の画像を得るか否かを画像再生時にユーザ操作によって指示しなくても容易に制御することができ、様々な特殊効果の画像とそれ以外の通常の画像とを容易に得ることが可能となる。
なお、上述した第2実施形態においては、合成画像を生成して再生する合成再生モードにおいて、合成対象となる関連する一対の画像を対応付けて一覧表示する場合に、撮影日時を参照して関連する画像を特定するようにしたが、撮影画像に付加されている撮影位置を参照し、撮影位置が一致する画像又は近い各画像を関連する画像として特定するようにしてもよい。
(第3実施形態)
以下、この発明の第3実施形態について図11〜図14を参照して説明する。
なお、第1及び第2実施形態における2台の撮像装置10、40は、自由に単独移動が可能なカメラを示したが、この第3実施形態は、2台の撮像装置50を画像処理装置(支持装置)60に装着したもので、この2台の撮像装置50は、その相対的な位置関係を変更可能となるように画像処理装置(支持装置)60に装着されている。この画像処理装置(支持装置)60は、2台の撮像装置50を支持するアタッチメントを構成する小型電子機器である。
図11は、2台の撮像装置(デジタルカメラ)50を支持する画像処理装置(支持装置:アタッチメント)の概略構成を示した外観図である。
撮像装置50は、その全体が箱型の筐体であり、カメラ取付具70に取り付けられている。すなわち、撮像装置50は、その裏面側(撮像レンズ50aの反対側)及び底面側が断面L字型のカメラ取付具70に面接するように載置固定されている。支持装置60は、その筐体60aの全体が厚板状の直方体であり、その筐体60aの厚さ方向(左右方向)の両側面部には、カメラ取付具70に載置固定された2台の撮像装置50が一対の左右ヒンジ80を介して開閉可能に装着(支持)されている。この一対の左右ヒンジ80は、支持装置60の上面部と左右両側面部との角部に沿って配置固定された軸状の開閉部材であり、かつ2台の撮像装置50の光軸方向が逆方向となる位置関係から同方向となる位置関係の範囲(0°〜90°)内で変位可能(開閉可能)となるように、この2台の撮像装置50を支持する支持部材である。支持装置60の筐体60a、一対の左右ヒンジ80は、2台の撮像装置50を支持する支持部材となる。
図11(1)は、2台の撮像装置50を閉じた状態、つまり、2台の撮像装置50の光軸方向が逆方向となる位置関係を示し、図11(2)は、2台の撮像装置50を開いた状態、つまり、2台の撮像装置50の光軸方向が同方向となる位置関係を示し、それらの開閉角度(0°〜90°)の範囲内において2台の撮像装置50が変位可能となっている。なお、2台の撮像装置50は、開閉角度0°〜90°の範囲内で多段階(例えば、5°単位の18段階)に変位可能であるが、一対の左右ヒンジ80は、その各段の位置で2台の撮像装置50を保持可能な構成となっている。
支持装置(アタッチメント)60は、撮像装置50の開閉角度(0°〜90°)を検出する角度検出部(後述する図13を参照)を備え、この角度検出部は、支持装置60に支持されている2台の撮像装置50の変位(開閉角度)を検出するもので、支持装置60は、この角度検出部の検出結果に基づいて、2台の撮像装置50の相対的な位置関係(開閉角度)が所定の位置関係であるか否かを判別する。その結果、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で撮影された各画像を合成処理の対象とせずに非合成とするようにしている。図12(1)〜(3)は、この所定の位置関係(開閉角度)として、第1の位置関係〜第3の位置関係を示した図である。
すなわち、図12(1)は、撮像装置50の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる配置関係(第1の位置関係)を示し、この第1の位置関係では撮像装置50の光軸方向の開角は0°となる。図12(2)は、撮像装置50の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる配置関係(第2の位置関係)を示し、この第2の位置関係では撮像装置50の光軸方向の開角は90°となる。図12(3)は、撮像装置50の光軸方向が第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる配置関係(第3の位置関係)を示し、この第3の位置関係では撮像装置50の光軸方向の開角は、75°±5°となる。第3実施形態においては、第1〜第3の位置関係を所定の位置関係として判別するようにしている。
図13は、2台の撮像装置50、支持装置60の概略構成を示したブロック図である。
撮像装置50は、第1実施形態で示した撮像装置10と基本的に同様の構成であるため、その詳細な説明は省略するが、図13(1)に示すように、撮像装置50は、制御部51、電源部52、撮像部53、画像記憶部54、通信部55などを備えている。図13(2)は、支持装置60の構成を示し、支持装置60は、CPU61、電源部62、通信部63、角度検出部64、操作部65などを備えている。
通信部63は、2台の撮像装置50から撮影画像を受信したり、取得した撮影画像を2台の撮像装置50に送信したりする短距離通信手段である。角度検出部64は、撮像装置50の開閉角度(0°〜90°)を検出するセンサであり、0°〜90°の範囲内において、例えば、5°刻みで角度を検出する構成となっている。操作部65は、図示省略したが、レリーズキー、撮像装置50の開閉調整キーなどを備え、CPU61は、レリーズキーが操作されると、2台の撮像装置50に撮影指示を同時に送信し、開閉調整キーが操作されると、2台の撮像装置50の開閉角度を順方向(0°〜90°の方向)、又は逆方向(90°〜0°)に段階的に変位させる。
図14は、撮像装置50側で撮影が行われる毎に実行開始される支持装置60側の動作(第3実施形態の特徴的な動作)を示したフローチャートである。
まず、支持装置60は、レリーズキーが操作されたかを調べ(ステップE1)、レリーズキーが操作されなければ(ステップE1でNO)、その操作キーに応じた処理に移るが、レリーズキーが操作されると(ステップE1でYES)、2台の撮像装置50に撮影指示を同時に送信する(ステップE2)。そして、2台の撮像装置50からその撮影画像を取得(受信)し(ステップE3)、角度検出部64から撮影時の開閉角度を取得する(ステップE4)。そして、この角度検出部64の検出結果に基づいて、2台の撮像装置50の相対的な位置関係(開閉角度)が所定の位置関係(第1〜第3の位置関係)であるかを判別する(ステップE5)。
ここで、2台の撮像装置50の相対的な位置関係が所定の位置関係でなければ(ステップE6でNO)、非合成を指示するフラグを各撮影画像のEXIF情報に付加するが(ステップE7)、所定の位置関係であれば(ステップE6でYES)、第1〜第3の位置関係の何れの関係であるかを判別する(ステップE8)。ここで、第1の位置関係(0°)であれば、全天球合成処理を指示するフラグを各撮影画像のEXIF情報に付加し(ステップE9)、第2の位置関係(90°)であれば、3D合成処理を指示するフラグを各撮影画像のEXIF情報に付加し(ステップE11)、第3の位置関係(75°±5°)であれば、パノラマ合成処理を指示するフラグを各撮影画像のEXIF情報に付加する(ステップE10)。そして、上述のフラグを付加した各撮影画像を、対応する撮像装置50に送信して記録保存させる(ステップE12)。その後、上述のステップE1に戻る。
撮像装置50側では、支持装置60から合成処理を指示するフラグ付の撮影画像を受信すると、その撮影画像を現像して記録保存させるが、その際、その撮影画像のEXIF情報(フラグ)を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を生成し、この合成画像を現像して、上述の撮影画像と共に記録保存するようにしている。
以上のように、第3実施形態において支持装置(アタッチメント)60は、2台の撮像装置50の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように2台の撮像装置50を支持し、この2台の撮像装置50の変位(開閉角度)に基づいて、各撮像装置50の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定し、所定の位置関係でなければ、その位置関係で撮影された各画像を合成処理の対象とせずに非合成とするようにしたので、特殊効果の画像を得るか否かをユーザ操作による指示しなくても容易に制御することができ、様々な特殊効果の撮影とそれ以外の通常の撮影に対応することが可能となる。
各撮像装置50の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、各撮像装置50の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係、第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第3の位置関係を所定の位置関係と判別するようにしたので、各撮像装置50の相対的な位置関係が全天球合成、3D合成、パノラマ合成に適したものとなり、かつユーザにとっても分かりやすい位置関係となる。
なお、上述した第3実施形態においては、撮影画像の記録保存時にその画像のEXIF情報(フラグ)を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を記録保存するようにしたが、撮影済み画像(保存画像)を再生する際に、その画像のEXIF情報(フラグ)を参照して合成形式を判別し、その合成形式にしたがった合成処理を行ってその合成画像を再生するようにしてもよい。
上述した第3実施形態において支持装置60は、合成形式を判別して各画像に付加するようにしたが、支持装置60に画像合成機能を備えることにより、合成形式にしたがった合成処理を行ってその合成画像を生成するようにしてもよい。これによって様々な特殊効果画像を容易に得ることが可能となる。なお、支持装置60の構成は、任意であり、また、撮像装置50の取付け位置も任意である。
<変形例2>
上述した第1・第2実施形態において撮像装置10、40は、その姿勢検出部17、姿勢検出部47の検出結果に基づいてその光軸方向を検出し、また、第3実施形態において撮像装置50の光軸方向は、支持装置60の角度検出部64の検出結果に基づいてその光軸方向を検出するようにしたが、撮像装置の光軸方向をセンサで検出するのではなく、画像を解析することによって光軸方向を判定するようにしてもよい。
図15は、画像解析によって光軸方向を判定する処理を示したフローチャートで、魚眼レンズを使用して撮像された動画像を例示した場合であるが、動画像に限らず、連続的に高速撮像された静止画像であってもよい。
画像処理装置(例えば、PC、カメラ、支持装置)は、2台の撮像装置から数フレーム分の画像を取得して(ステップF1)、撮像装置毎に各フレーム画像を解析し(ステップF2)、その中央部分と周辺部分とにおける画像の流れを判別する(ステップF3)。
ここで、2台の撮像装置のうちその一方が中央部分から周辺部分(内から外)への流れ、他方が周辺部分から中央部分(外から内)への流れであれば(ステップF4でYES)、2台の撮像装置の光軸方向は逆方向であると判定する(ステップF5)。また、2台の撮像装置の流れが両方とも中央部分から周辺部分(内から外)、又は、両方とも周辺部分から中央部分(外から内)への流れであれば(ステップF6でYES)、2台の撮像装置の光軸方向は同方向であると判定する(ステップF7)。
このように2台の撮像装置から複数フレーム分の画像を取得して解析するだけで、その画像の流れから2台の撮像装置の光軸方向を検出することが可能となる。
また、上述した各実施形態においては、各撮像装置の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定するようにしたが、所定の位置関係であれば、更に各撮像装置から設定中のズーム倍率や焦点距離などの撮影条件を取得して、その撮影条件が合成処理に適するか否かを判別し、適合する場合に、その所定の位置関係に応じて合成形式を設定するようにしてもよい。これによって合成処理を的確に行うことが可能となる。
また、上述した各実施形態においては、各撮像装置の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象としてその合成形式を設定するようにしたが、所定の位置関係になった場合に、各撮像装置のズーム倍率や焦点距離などの撮影条件を各合成形式に適した条件に設定するように構成してもよい。これによって、より好適な撮像条件で撮像された画像で合成処理を行うことが可能となる。
また、上述した各実施形態においては、各撮像装置の光軸方向と位置関係・距離から、適した合成形式を設定するように構成したが、各撮像装置の位置関係のみから合成形式を設定するように構成してもよい。具体的には、撮像装置を全天球撮影可能な撮像装置のように撮像方向によらず周囲を撮影できるような撮影装置にするように構成してもよい。
また、上述した各実施形態においては、相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で撮影された各画像を合成処理の対象として各画像に対して合成形式を設定するようにしたが、所定の位置関係になった場合に、全天球で撮影された各画像から該合成形式に応じて必要な範囲の画像を切り出すように構成してもよい。これによって画角を定めること無く、撮像された画像から合成形式を設定することが可能となる。
上述した各実施形態においては、画像処理装置として、PC、カメラ、支持装置に適用した場合を示したが、これに限らず、画像処理装置は、PDA(個人向け携帯型情報通信機器)、タブレット端末装置、スマートフォンなどの携帯電話機、電子ゲーム、音楽プレイヤーなどであってもよい。
また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記情報取得手段は、第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報を取得し、
前記判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判定する、
ことを特徴とする。
(請求項3)
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であるか否かを判別する、
ことを特徴とする。
(請求項4)
請求項4に記載の発明は、請求項2又は3に記載の画像処理装置において、
前記情報取得手段は、前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を更に取得し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別した場合には、更に、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内である否かを判別し、その許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項5)
請求項5に記載の発明は、請求項2乃至4の何れか1項に記載の画像処理装置において、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合には、更に、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項6)
請求項6に記載の発明は、請求項5に記載の画像処理装置において、
前記第1の撮像装置及び前記第2の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合、更に、前記解析手段によって解析された類似度に基づいて前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項7)
請求項7に記載の発明は、請求項6に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
(請求項8)
請求項8に記載の発明は、請求項6又は7に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
(請求項9)
請求項9に記載の発明は、請求項4に記載の画像処理装置において、
前記第1の撮像装置と第2の撮像装置は、魚眼レンズを備え、
前記合成制御手段は、前記判別手段によって前記第1の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第1の撮像装置と前記第2の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
ことを特徴とする。
(請求項10)
請求項10に記載の発明は、請求項5に記載の画像処理装置において、
前記合成制御手段は、前記判別手段によって前記第2の位置関係であると判別された場合に、更に、前記第1の撮像装置と前記第2の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第1の撮像装置と前記第2の撮像装置により撮像される各画像からパノラマ画像、又は3次元画像を生成する合成形式を設定する、
ことを特徴とする。
(請求項11)
請求項11に記載の発明は、請求項1乃至10の何れか1項に記載の画像処理装置において、
前記情報取得手段は、更に第1の撮像装置と第2の撮像装置から撮影条件を取得し、
前記合成制御手段は、前記判別手段によって所定の位置関係であると判別された場合に、前記情報取得手段によって取得された撮影条件が合成処理に適合する場合に、その合成処理の合成形式を設定する、
ことを特徴とする。
(請求項12)
請求項12に記載の発明は、請求項1乃至11の何れか1項に記載の画像処理装置において、
前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて合成処理を行う、
ことを特徴とする。
(請求項13)
請求項13に記載の発明は、請求項1乃至12の何れか1項に記載の撮像装置において、
前記合成制御手段により設定される合成形式を報知する報知手段を更に備える、
ことを特徴とする。
(請求項14)
請求項14に記載の発明は、請求項2に記載の撮像装置において、
前記情報取得手段は、前記第1の撮像装置と第2の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項15)
請求項15に記載の発明は、請求項2に記載の撮像装置において、
前記第1の撮像装置と第2の撮像装置は、魚眼レンズを用いて連続的に撮像し、
前記情報取得手段は、前記第1の撮像装置及び第2の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項16)
請求項16に記載の発明は、請求項2に記載の画像処理装置において、
前記第1の撮像装置を備える画像処理装置であって、
前記情報取得手段は、前記第1の撮像装置からその光軸方向に関する情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第2の撮像装置からその光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項17)
請求項17に記載の発明は、請求項1乃至16の何れか1項に記載の画像処理装置において、
前記第1の撮像装置と前記第2の撮像装置の光軸方向が変位可能となるように前記第1の撮像装置と第2の撮像装置を支持する支持部材を更に備え、
前記判別手段は、前記支持部材に支持されている前記第1の撮像装置と第2の撮像装置との変位に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるか否かを判別する、
ことを特徴とする。
(請求項18)
請求項18に記載の発明は、請求項17に記載の画像処理装置において、
前記支持部材は、前記第1の撮像装置と前記第2の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第1の撮像装置と第2の撮像装置を支持し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係、前記第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第3の位置関係を前記所定の位置関係と判別する、
ことを特徴とする。
(請求項19)
請求項19に記載の発明は、請求項2に記載の画像処理装置において、
複数の画像を取得する画像取得手段を更に備え、
前記情報取得手段は、前記画像取得手段によって取得された複数の画像から前記光軸情報、及び前記位置情報を取得し、
前記判別手段は、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する、
ことを特徴とする。
(請求項20)
請求項20に記載の発明は、請求項19に記載の画像処理装置において、
前記判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する
ことを特徴とする。
(請求項21)
請求項21に記載の発明は、
画像処理装置における画像処理方法であって、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する処理と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する処理と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う処理と、
を含むことを特徴とする。
(請求項22)
請求項22に記載の発明は、
画像処理装置のコンピュータに対して、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する機能と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する機能と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う機能と、
を実現させるためのプログラムである。
10、40、50 撮像装置
11、21、31、61 制御部
13、23、33、63 記憶部
16、46、54 撮像部
17、47 姿勢検出部
18、28 磁気センサ
20 画像処理装置(本体装置)
30 画像処理装置(PC)
60 画像処理装置(支持装置)
64 角度検出部
80 左右ヒンジ

Claims (21)

  1. 第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
    前記情報取得手段によって取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別手段と、
    前記第1の判別手段による判別結果に基づいて画像の合成形式を設定する設定手段と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定手段によって設定された合成形式で合成する制御を行う合成制御手段と、
    を具備し、
    前記情報取得手段は、前記位置情報として、前記第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報、及び前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を取得し、
    前記所定の条件とは、前記第1の判別手段により、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別されること、且つ、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内であると判別されること、
    を特徴とする画像処理装置。
  2. 前記第1の判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1の判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係か、又は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係か、を判別する、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 第1の撮像装置と第2の撮像装置の位置関係に関する位置情報及び光軸情報を取得する情報取得手段と、
    前記情報取得手段によって取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報及び光軸情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別手段と、
    前記第1の判別手段による判別結果に基づいて画像の合成形式を設定する設定手段と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定手段によって設定された合成形式で合成する制御を行う合成制御手段と、を備え、
    前記第1の判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係である場合、且つ、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内である場合に、前記所定の条件を満たすと判別する、
    ことを特徴とする画像処理装置。
  5. 前記第1の撮像装置及び前記第2の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
    前記第1の判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別された場合、更に、前記解析手段によって解析された類似度に基づいて前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の条件を満たすと判別する、
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記第1の判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記第1の判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
    ことを特徴とする請求項5又は6に記載の画像処理装置。
  8. 前記第1の撮像装置と第2の撮像装置は、魚眼レンズを備え、
    前記設定手段は、前記第1の判別手段によって前記相対的な位置関係が前記第1の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第1の撮像装置と前記第2の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
    ことを特徴とする請求項1に記載の画像処理装置。
  9. 前記設定手段は、前記第1の判別手段によって前記相対的な位置関係が前記第2の位置関係であると判別された場合に、更に、前記第1の撮像装置と前記第2の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第1の撮像装置と前記第2の撮像装置により撮像される各画像からパノラマ画像、又は3次元画像を生成する合成形式を設定する、
    ことを特徴とする請求項4に記載の画像処理装置。
  10. 前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
    前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて前記各画像に対して合成処理を行う、
    ことを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
  11. 前記設定手段により設定される合成形式を報知する報知手段を更に備える、
    ことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。
  12. 前記情報取得手段は、前記第1の撮像装置と第2の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
    ことを特徴とする請求項2に記載の画像処理装置。
  13. 第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
    前記情報取得手段によって取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別手段と、
    前記第1の判別手段による判別結果に基づいて画像の合成形式を設定する設定手段と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定手段によって設定された合成形式で合成する制御を行う合成制御手段と、
    を具備し
    記第1の撮像装置と第2の撮像装置は、魚眼レンズを用いて連続的に撮像し、
    前記情報取得手段は、前記第1の撮像装置及び第2の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する光軸情報を取得し
    前記第1の判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する、
    ことを特徴とする画像処理装置。
  14. 前記第1の撮像装置を備える画像処理装置であって、
    前記情報取得手段は、前記第1の撮像装置から光軸方向に関する光軸情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第2の撮像装置から光軸方向に関する光軸情報を取得する、
    ことを特徴とする請求項2に記載の画像処理装置。
  15. 前記第1の撮像装置と前記第2の撮像装置の光軸方向が変位可能となるように前記第1の撮像装置と第2の撮像装置を支持する支持部材を更に備え、
    前記第1の判別手段は、前記支持部材に支持されている前記第1の撮像装置と第2の撮像装置との変位に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすか否かを判別する、
    ことを特徴とする請求項1乃至14の何れか1項に記載の画像処理装置。
  16. 前記支持部材は、前記第1の撮像装置と前記第2の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第1の撮像装置と第
    2の撮像装置を支持し、
    前記第1の判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係、又は前記第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第3の位置関係を前記所定の条件を満たすと判別する、
    ことを特徴とする請求項15に記載の画像処理装置。
  17. 複数の画像を取得する画像取得手段と、
    前記画像取得手段によって取得された複数の画像から第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報、及び第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
    前記光軸情報と、前記情報取得手段によって取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別手段と、
    前記第1の判別手段による判別結果に基づいて画像の合成形式を設定する設定手段と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定手段によって設定された合成形式で合成する制御を行う合成制御手段と
    を備える
    ことを特徴とする画像処理装置。
  18. 前記第1の判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する、
    ことを特徴とする請求項17に記載の画像処理装置。
  19. 前記情報取得手段は、第1の撮像装置と第2の撮像装置の位置関係に関する位置情報及び撮影条件を取得し、
    前記情報取得手段によって取得された前記撮影条件が合成処理に適合するかを判別する第2の判別手段を備え、
    前記設定手段は、前記第1の判別手段と前記第2の判別手段とによる判別結果に基づいて画像の合成形式を設定する、
    ことを特徴とする請求項11317の何れか1項に記載の画像処理装置。
  20. 画像処理装置における画像処理方法であって、
    第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得処理と、
    前記情報取得処理により取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別処理と、
    前記第1の判別処理による前記判別結果に基づいて画像の合成形式を設定する処理と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定された合成形式で合成する制御を行う処理と、
    を有し、
    前記情報取得処理は、前記位置情報として、前記第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報、及び前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を取得し、
    前記所定の条件とは、前記第1の判別処理により、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別されること、且つ、前記情報取得処理によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内であると判別されること、
    を特徴とする画像処理方法。
  21. 画像処理装置のコンピュータに対して、
    第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得機能と、
    前記情報取得機能により取得された前記第1の撮像装置と前記第2の撮像装置との前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の条件を満たすかを判別する第1の判別機能と、
    前記第1の判別機能による前記判別結果に基づいて画像の合成形式を設定する機能と、
    前記第1の撮像装置と第2の撮像装置とによって撮像された画像を、前記設定された合成形式で合成する制御を行う機能と、
    を実行させ、
    前記情報取得機能は、前記位置情報として、前記第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報、及び前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を取得し、
    前記所定の条件とは、前記第1の判別機能により、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別されること、且つ、前記情報取得機能によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内であると判別されること、
    を特徴とするプログラム。
JP2016061437A 2016-03-25 2016-03-25 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP6455474B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016061437A JP6455474B2 (ja) 2016-03-25 2016-03-25 画像処理装置、画像処理方法及びプログラム
US15/391,952 US20170278263A1 (en) 2016-03-25 2016-12-28 Image processing device, image processing method, and computer-readable recording medium
CN201710072402.6A CN107231550A (zh) 2016-03-25 2017-02-09 图像处理装置、图像处理方法以及计算机可读取的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016061437A JP6455474B2 (ja) 2016-03-25 2016-03-25 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2017175507A JP2017175507A (ja) 2017-09-28
JP2017175507A5 JP2017175507A5 (ja) 2018-02-08
JP6455474B2 true JP6455474B2 (ja) 2019-01-23

Family

ID=59897063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016061437A Expired - Fee Related JP6455474B2 (ja) 2016-03-25 2016-03-25 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20170278263A1 (ja)
JP (1) JP6455474B2 (ja)
CN (1) CN107231550A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10200672B2 (en) * 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US10051201B1 (en) * 2017-03-20 2018-08-14 Google Llc Camera system including lens with magnification gradient
JP6938237B2 (ja) * 2017-06-21 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2019117330A (ja) * 2017-12-27 2019-07-18 株式会社リコー 撮影装置、及び撮影システム
WO2020189510A1 (ja) * 2019-03-15 2020-09-24 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
CN111953909B (zh) * 2019-05-16 2022-02-01 佳能株式会社 图像处理设备、图像处理方法和存储介质
JP7384008B2 (ja) * 2019-11-29 2023-11-21 富士通株式会社 映像生成プログラム、映像生成方法及び映像生成システム
CN115698967A (zh) * 2020-06-02 2023-02-03 麦克赛尔株式会社 信息处理系统、信息处理方法和信息处理终端
CN112699884A (zh) * 2021-01-29 2021-04-23 深圳市慧鲤科技有限公司 定位方法、装置、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846852A (ja) * 1994-07-29 1996-02-16 Canon Inc 撮像装置および撮像方法
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
JP2005223812A (ja) * 2004-02-09 2005-08-18 Canon Inc 撮影装置
JP4661514B2 (ja) * 2005-10-07 2011-03-30 ソニー株式会社 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
JP2010045689A (ja) * 2008-08-15 2010-02-25 Olympus Imaging Corp 携帯機器
JP4562789B2 (ja) * 2008-08-21 2010-10-13 富士フイルム株式会社 撮影システム
JP2012159616A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
US9279661B2 (en) * 2011-07-08 2016-03-08 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2013114154A (ja) * 2011-11-30 2013-06-10 Canon Inc 撮像装置、撮像装置の制御方法、プログラム
WO2013130082A1 (en) * 2012-03-01 2013-09-06 Geo Semiconductor Inc. Method and system for adaptive perspective correction of ultra wide-angle lens images
JP2013207357A (ja) * 2012-03-27 2013-10-07 Sony Corp サーバ、クライアント端末、システムおよびプログラム
JP2014066904A (ja) * 2012-09-26 2014-04-17 Nikon Corp 撮像装置、画像処理装置、画像処理サーバおよび表示装置
JP5945966B2 (ja) * 2013-03-29 2016-07-05 ブラザー工業株式会社 携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システム
JP6163899B2 (ja) * 2013-06-11 2017-07-19 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
CN104956655B (zh) * 2014-01-31 2018-06-22 奥林巴斯株式会社 摄像装置
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras

Also Published As

Publication number Publication date
CN107231550A (zh) 2017-10-03
JP2017175507A (ja) 2017-09-28
US20170278263A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6455474B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9374529B1 (en) Enabling multiple field of view image capture within a surround image mode for multi-LENS mobile devices
US10237495B2 (en) Image processing apparatus, image processing method and storage medium
JP6192940B2 (ja) 撮影機器及び連携撮影方法
JP5967473B2 (ja) 撮像装置及び撮像システム
JP4775474B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP5991514B2 (ja) 撮像装置及び撮像システム
JP2013013063A (ja) 撮像装置及び撮像システム
JP6497965B2 (ja) 画像処理装置及び画像処理方法
JP6271917B2 (ja) 画像記録装置及び撮像装置
KR20200080147A (ko) 전자기기, 전자기기의 제어 방법, 및 컴퓨터 판독 가능한 매체
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP2006020111A (ja) カメラ
JP2007259002A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP2012124614A (ja) 撮像装置及び撮像装置の制御方法
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
JP6218615B2 (ja) 表示機器、表示方法、撮影装置及び撮影システム
JP6456093B2 (ja) 撮像装置、および、撮像装置の制御方法
JP2011211260A (ja) パノラマ画像撮像装置及びそのパノラマ画像合成方法
JP2011135374A (ja) 3次元デジタルカメラ
JP6460785B2 (ja) 電子機器及び電子機器の制御方法
JP2024098038A (ja) プログラム、記録媒体および情報処理装置
JP2016019251A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171225

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171227

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R150 Certificate of patent or registration of utility model

Ref document number: 6455474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees