JP6946033B2 - 電子機器、撮像装置、及び制御方法、並びにプログラム - Google Patents

Description

本発明は、電子機器、撮像装置、及び制御方法、並びにプログラムに関し、特にモジュールとしての撮像装置を着脱可能な電子機器、撮像装置、及び制御方法、並びにプログラムに関する。

機能単位でまとまりを持たせたモジュールをブロックの様に組み合わせることで、所望する様々な機能を実現させたスマートデバイスと呼ばれる電子機器が公知となっている。こうしたスマートデバイスは、複数のスロットが形成された本体と、異なる機能を持った複数のモジュールとで構成されており、これらの多種多様なモジュールは、それぞれ自由な組み合わせで本体のスロットに着脱される。このとき、例えば撮影機能を有するモジュール（撮像モジュール）を本体のスロットに装着すれば、ＯＳ上にインストールされたアプリケーションプログラムの動作によって、撮影機能を利用することが可能となる。

こうしたスマートデバイスに対応する撮像モジュール自体もまた多種多様である。本体への着脱手段や通信手段など一定の規格を満足するものであれば、例えば光学レンズの焦点距離や撮像センサのサイズが異なっていても良い。更に、これらの撮像モジュールを設計するメーカーが特定の企業に限定される必要はなく、カメラメーカーや電機メーカーなど複数存在しても構わない。また撮像モジュール内において、どこにどの構成部品を配置するかといった制約が少なく、設計の自由度は高い。そのため、撮像モジュールをそれぞれの仕様やメーカーにとって都合のよい、最適なレイアウトで設計することができる。

更に前述のように、モジュールの組み合わせが比較的自由であるため、例えば複数の撮像モジュールをそれぞれ異なるスロットに装着することもできる。この場合、複眼カメラ機能を動作させるアプリケーションプログラムを装着した複数の撮像モジュールに対して実行することにより、所謂、複眼カメラの機能として公知な画像の合成機能や測定機能が利用可能となる。

複眼カメラに期待される画像の合成機能としては、立体視モード、パノラマモード、パンフォーカスモード、ダイナミックレンジ拡大モード、シャローフォーカスモード、マルチズーム（高解像度）モードなどが公知である（例えば特許文献１参照）。これらの機能は、それぞれの撮像モジュールにおける撮影条件を一致もしくは異ならせて同時撮影を行い、得られた複数の画像データから１枚の画像を合成するものである。また他にも、複眼カメラを使った測定機能として測距技術が挙げられる（例えば特許文献２参照）。この機能は、左右２つのカメラで被写体を同時に撮影し、得られたステレオ画像を処理することで、被写体を三次元的に認識したり、被写体までの距離を計測したりするものである。

こうした複眼カメラによる画像の合成機能や測定機能は、少なくとも２つの撮像モジュールの視差情報に基づいて処理されるため、お互いの撮像モジュールにおける光軸間の距離、つまり基線長を得ることが重要となる。

なお、被写体の測距方式として、コントラストＡＦ制御や、位相差ＡＦ制御と呼ばれる技術が公知となっている。ここで、コントラストＡＦ制御とは、撮像素子から出力された被写体像の信号のコントラストレベルがピークに向かう方向に、カメラ内部の焦点調節レンズを駆動させる制御方法である。一方、位相差ＡＦ制御とは、複眼カメラで出力した画像データから合焦に必要な焦点調節レンズの駆動方向や駆動量などの視差情報を取得する制御方法である。コントラストＡＦ制御は、位相差ＡＦ制御のように合焦に必要な焦点調節レンズの駆動方向、駆動量を直接検知することはできない。このため、合焦動作に時間がかかってしまう反面、撮像素子からの出力信号に基づいて合焦判定を行っているので、高精度に焦点検出を行うことが出来るという特長を持つ。

更に、複眼カメラを用いた位相差ＡＦ制御は、一般的に、基線長が長いと測距精度は高いが至近側の測距が苦手である。一方、基線長が短いと測距精度は低いが至近側の測距にも強いという性質を持つ。

例えば、特許文献１では、複数の撮像ユニットを複数個同時に位置及び向きを調節してカメラ本体に対して接続することが可能な構成となっているため、撮像する被写体までの距離に応じて適切な基線長を選択して撮像することができる。

また、特許文献２では、複眼カメラによる３次元画像を撮影可能な携帯端末において、撮影モードが２次元の撮影モードである場合と、３次元の撮影モードである場合を判断してディスプレイへの表示モードを変更する。これにより、３次元の撮影モード時に、２つのカメラのうちのいずれかが指等によって遮られている事を容易に知ることができるため、３次元画像の失敗が防止され得る。

特許第４４４８８４４号公報 特開２０１２−２３９１３９号公報

ところで、特許文献１の構成は、複数の撮像ユニットによって得られた複数枚の画像データから、後に画像処理等を施して画像の３次元データを取得する場合や、パノラマモード、パンフォーカスモード等の特殊な画像を合成する場合などに用いられている。しかし、測距制御においては、複数の撮像ユニットによって得られた複数枚の画像データから視差情報を取得する位相差ＡＦ制御を用いておらず、ＡＦ検出回路によって焦点調節が撮像に適切か否かを検出するコントラストＡＦ制御を採用している。このため、合焦動作においてはより時間を要してしまう。

また特許文献２に記載された制御は、２次元画像の撮影モード、３次元画像の撮影モードによってディスプレイへの表示方法を変更する。これにより、指等の障害物によって遮られていることを容易に知ることが出来るが、２つのカメラから得られる撮影画像から視差情報を取得して位相差ＡＦ制御にて用いておらず、合焦動作においては時間がかかってしまう。もし仮に、２つのカメラを複眼カメラとして用いて位相差ＡＦ制御を行った場合も、２つのカメラが近接しているため、被写体と携帯端末の距離によっては測距精度が悪い恐れがある。

このような課題を鑑みて本発明は、複数の撮像モジュールを用いて複眼カメラの機能を実現する電子機器において、被写体までの距離だけでなく、それぞれの撮像モジュール同士の位置関係も考慮して、好適に制御を切り替えることができることを目的とする。

本発明の請求項１に係る電子機器は、第１及び第２の撮像モジュールを複数の取り付け領域のいずれかにそれぞれ装着する電子機器において、複眼モードで撮影を行う第１の撮影手段と、前記第１及び第２の撮像モジュールのいずれか一方により、コントラストＡＦによる焦点検出を行うコントラストＡＦ制御手段と、前記第１及び第２の撮像モジュールのそれぞれで撮像された画像の視差を示す視差情報から被写体距離を測距し、焦点検出を行う位相差ＡＦ制御手段と、前記複眼モードにおいて、前記位相差ＡＦ制御手段により焦点検出されない場合、及び前記位相差ＡＦ制御手段により焦点検出された場合であって、前記測距された被写体距離が閾値で示す距離より近い場合は、前記位相差ＡＦ制御手段から前記コントラストＡＦ制御手段に切り替えて焦点検出を行う切替手段とを備え、前記閾値は、前記装着された第１及び第２の撮像モジュールの間隔の大きさに応じて設定される値であることを特徴とする。

本発明によれば、複数のモジュールとしての撮像装置（撮像モジュール）を用いることで複眼カメラの機能を実現する電子機器において、被写体までの距離だけでなく、それぞれの撮像モジュール同士の位置関係も考慮して、好適に制御を切り替えることができる。

実施例１に係る電子機器としてのスマートデバイスの外観図である。 スマートデバイスの本体に取り付けられるモジュールの外観図である。 スマートデバイスの本体にモジュールを取り付ける方法を示す説明図である。 スマートデバイスの本体に設けられたＥＰＭとモジュールに設けられた磁性体との磁力による結合を示す説明図である。 複数のモジュール及びこれらが装着されたスマートデバイスの本体のハードウェア構成を示すブロック図である。 アプリケーションプログラム制御モジュールにより実行される、複数のモジュールが装着されたスマートデバイスの動作制御処理の手順を示すフローチャートである。 図６のステップＳ１１０７のリリース処理の詳細な手順を示すフローチャートである。 図６のステップＳ１１０９の装着処理の詳細な手順を示すフローチャートである。 図６のステップＳ１１１１のアプリケーションプログラム実行処理の一例である撮影アプリケーションプログラム実行処理の詳細な手順を示すフローチャートである。 図９のステップＳ１４０５の撮影実行処理の手順を示すフローチャートである。 図１０のステップＳ１５０８で行われるＡＦ切り替え処理の手順を示すフローチャートである。 図１０のステップＳ１５０５において実行される実施例１に係る基線長の算出方法を示した説明図である。 図１０のステップＳ１５０５において実行される実施例２に係る基線長の算出方法を示した説明図である。 実施例３にかかる複眼撮影の実行時における表示部のライブビュー画像の表示方法を示す説明図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施例１）
図１は、本実施例に係る電子機器のとしてのスマートデバイス５０の外観図である。

図１（ａ）は、スマートデバイス５０の本体を正面側から見た外観図と、背面側から見た外観図である。

図１（ａ）に示すように、スマートデバイス５０の本体の正面側には、複数のリブ１０１ａ〜ｃが形成されている。また、スマートデバイス５０の本体の背面側には、複数のリブ１０１ａ，ｃ〜ｈが形成されると共に、スマートデバイス５０の本体を左右の領域に分割するスパイン１０２が形成されている。リブ１０１ａ〜ｈとスパイン１０２（ガイド部）とは、モジュールを取り付ける際のガイド機能と装着後のモジュールを保持する保持機能とを兼ね備えていると共に、スマートデバイス５０の本体の剛性を高める機能も有している。以下、リブ１０１ａ〜ｈとスパイン１０２とを合わせてフレーム構造と称する。スマートデバイス５０の本体の正面側と背面側とは、リブ１０１ａ〜ｈとスパイン１０２とによって、複数のモジュールの取り付け領域に分割されている。以下、これらの複数のモジュールの取り付け領域を、スロット１０００，１１００，１２００，１３００，１４００，１５００，１６００，１７００，１８００，１９００と称する。

各スロット１０００〜１９００には、電磁着脱機構を司るエレクトロパーマネントマグネット（ＥＰＭ）１６０〜１６９が設けられている。尚、ＥＰＭ１６０〜１６９については、詳しくは後述する。各ＥＰＭ１６０〜１６９近傍には、これらと対となる、スマートデバイス５０の本体と各モジュールとがデータの送受信をするための本体側非接触通信手段（以下、本体側ＣＭＣと称する）１４０〜１４９が備えられている。つまり、各スロット１０００〜１９００には、ＥＰＭ１６０〜１６９と本体側ＣＭＣ１４０〜１４９とが、それぞれ少なくとも一対設けられていることになる。尚、図１（ａ）に示すように、ＥＰＭ１６０〜１６９と本体側ＣＭＣ１４０〜１４９とは、各スロット１０００〜１９００の大きさに応じて複数設けられても良い。

スマートデバイス５０の本体の正面側には、紙面向かって左側の端部付近にＥＰＭ１６０，１６３が配置されており、そのＥＰＭ１６０，１６３の右側に本体側ＣＭＣ１４０，１４３が配置されている。スマートデバイス５０の本体の背面側には、スパイン１０２に隣接するようにＥＰＭ１６１，１６２ａ，１６２ｂ，１６４ａ，１６４ｂ，１６５ａ，１６５ｂ，１６６〜１６９が配置されている。紙面に向かってスパイン１０２の左側の領域には、ＥＰＭ１６５ａ，１６５ｂ，１６７ａ，１６７ｂ，１６８，１６９が設けられ、更にその左側に本体側ＣＭＣ１４５ａ，１４５ｂ，１４７ａ，１４７ｂ，１４８，１４９が配置されている。またスパイン１０２の右側の領域には、ＥＰＭ１６１，１６２ａ，１６２ｂ，１６４ａ，１６４ｂ，１６６が設けられ、更にその右側に本体側ＣＭＣ１４１、１４２ａ，１４２ｂ，１４４ａ，１４４ｂ，１４６が配置されている。

図１（ｂ）は、スマートデバイス５０の本体にモジュールを取り付けた状態を正面側から見た外観図と、背面側から見た外観図である。

図１（ｂ）に示すように、スマートデバイス５０の本体の正面側及び背面側には、各機能を備えたモジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００が取り付けられる。スマートデバイス５０の本体の正面側の下部のスロット１３００には、略全面にタッチ検知機能を有したＬＣＤパネル３１２から成るモジュール（以下、表示操作モジュールと称する）３００が装着されている。表示操作モジュール３００の右側面には、スマートデバイス５０の電源のＯＮとＯＦＦとを切り替える電源ボタン３１４ａが形成されており、同じく表示操作モジュール３００の左側面には、音量を調節する音量調節ボタン３１４ｂが形成されている。更に表示操作モジュール３００には、スマートデバイス５０が移動体無線通信機器として機能する際に、通話者の音声を検出するマイク３１８が設けられている。マイク３１８は、スマートデバイス５０がビデオカメラとして機能する際に、動画の音声を収集する役割も担う。また、スマートデバイス５０の本体の正面側の上部のスロット１０００には、スピーカモジュール３５０が取り付けられている。スピーカモジュール３５０には、スマートデバイス５０が移動体無線通信機器として機能する際に、受信した音声を出力するスピーカ部３５１が設けられている。このスピーカ部３５１は、その他に音楽や操作音を出力する。

一方、スマートデバイス５０の本体の背面側には、スパイン１０２の左側の上部のスロット１５００に、各種撮影機能を有する撮像モジュール５００が、またスパイン１０２の右側の上部のスロット１６００に、撮像モジュール６００が装着されている。撮像モジュール５００，６００が装着されるスロットが略同一平面であり、これらのスロットに装着した場合に撮像モジュール５００，６００の光軸が略平行である場合、後述する複眼モードがユーザ選択可能なモードに設定される。これによって、撮像モジュール５００，６００はそれぞれの撮影範囲に同一の被写体をフレーミングすることが可能となり、後述する視差を用いて被写体距離を測定したり略同時に撮影したりする構成となるからである。また前述した通り、撮像モジュール５００，６００は、スマートデバイス５０の本体への着脱手段と通信手段とが一定の規格を満足するように共通化されてはいるものの、それぞれのモジュールにおいては構成部品の配置が異なっている。

スパイン１０２の左側の上部のスロット１５００に対して、その下部に形成されたスロット１７００には、外部と無線でデータの送受信を行う無線ＬＡＮモジュール７００が装着されている。更にその下部のスロット１８００には、スマートデバイス５０の姿勢を検知する姿勢検知モジュール８００が取り付けられている。姿勢検知モジュール８００は、３軸のジャイロセンサから取得する角速度情報を利用することで、スマートデバイス５０の姿勢を検知する。スパイン１０２の左側の下部のスロット１９００には、ＴＤＭＡ、ＣＤＭＡ、ＬＴＥ等の単数或いは複数の各種遠距離通信機能を有する移動体通信モジュール９００が装着されている。スパイン１０２の右側の上部のスロット１６００に対して、その下部に形成されたスロット１２００には、スマートデバイス５０全体の制御を行うアプリケーションプログラム制御モジュール２００が装着されている。

ユーザがスマートデバイス５０において利用を所望する機能を動作させるには、装着中の所定のモジュール専用のアプリケーションプログラムをアプリケーションプログラム制御モジュール２００にインストールする必要がある。これにより、アプリケーションプログラム制御モジュール２００を介することでスマートデバイス５０においてその所望する機能を利用できる。例えば、移動体通信モジュール９００専用の通話アプリケーションがインストールされている場合、アプリケーションプログラム制御モジュール２００を介して移動体通信モジュール９００を動作させて通話機能が利用可能となる。また、無線ＬＡＮモジュール７００専用のインターネット接続アプリケーションがインストールされている場合がある。この場合、アプリケーションプログラム制御モジュール２００を介して無線ＬＡＮモジュール７００を動作させてインターネット接続によるウェブ閲覧機能が利用可能となる。また例えば、撮像モジュール５００，６００専用の撮影アプリケーションがインストールされている場合、アプリケーションプログラム制御モジュール２００を介して撮像モジュール５００，６００を動作させて複眼カメラの機能を利用することができる。ここで、複眼カメラの機能とは画像の合成機能や測定機能を指す。

複眼カメラに期待される画像の合成機能としては、前述の特許文献１に記載された立体視モード、パノラマモード、パンフォーカスモード、ダイナミックレンジ拡大モード、シャローフォーカスモード、マルチズーム（高解像度）モードが含まれる。そして専用の撮影アプリケーションは、撮像モジュール５００，６００のそれぞれで任意に設定可能である。これらの合成機能は、撮像モジュール５００，６００の夫々の撮影条件を一致もしくは異ならせて同時撮影を行い、得られた２枚の画像データから１枚の画像を合成するものである。

また上述の撮影アプリケーションでは、測定機能として、前述の特許文献２に記載された測距技術が適用される。この機能は、撮像モジュール５００，６００により被写体を同時に撮影し、得られたステレオ画像を処理することで、被写体を三次元的に認識したり、被写体までの距離を計測したりするものである。尚、本発明はこうした複眼カメラの機能を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

スロット１２００の下部のスロット１４００には、スマートデバイス５０に電力を供給する電源モジュール４００が装着されている。更にスパイン１０２の右側の下部のスロット１１００には、撮影した画像データなどの各種データを保存する記録モジュール１５０が取り付けられている。

図２は、スマートデバイス５０の本体に取り付けられるモジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００の外観図である。図２（ａ）は、スマートデバイス５０の本体の正面側に取り付けられる表示操作モジュール３００及びスピーカモジュール３５０を正面側から見た外観図と背面側から見た外観図である。図２（ｂ）は、スマートデバイス５０の本体の背面側に取り付けられる各モジュールを正面側から見た外観図と背面側から見た外観図である。前述のとおり、スマートデバイス５０の本体の背面側には、図１（ｂ）に示すように、スパイン１０２の左側に、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、及び移動体通信モジュール９００が取り付けられている。また、スパイン１０２の右側に、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、及び記録モジュール１５０が取り付けられている。

図２（ａ）に示すように、表示操作モジュール３００及びスピーカモジュール３５０の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６３，１６０と対向する位置に、磁性体３６０，３５６が設けられている。ここで用いられる磁性体３６０，３５６の材質としては、保磁力が小さく透磁率が大きい軟磁性体が好ましく、本実施例では鉄・コバルト・バナジウムの軟磁性合金であるＨＩＰＥＲＣＯＴＭ５０が採用されている。以下説明する各磁性体においても同様の材質が採用される。

更に、スマートデバイス５０の本体に設けられた本体側ＣＭＣ１４３，１４０と対向する位置には、スマートデバイス５０の本体とデータの送受信を行うモジュール側非接触通信手段（以下、モジュール側ＣＭＣと称する）３４０，３５４が設けられている。磁性体３６０，３５６とモジュール側ＣＭＣ３４０，３５４とは、それぞれ隣接して表示操作モジュール３００及びスピーカモジュール３５０に一対ずつ設けられている。

一方、図２（ｂ）に示すように、撮像モジュール５００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６５ａ，１６５ｂと対向する位置に、磁性体５６０ａ，５６０ｂが設けられている。また、撮像モジュール６００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６６と対向する位置に、磁性体６６０ａが設けられている。尚、撮像モジュール６００の背面には磁性体６６０ｂも設けられているが、スマートデバイス５０の本体にはこれと対向する磁性体が存在しない。このため、撮像モジュール６００では磁性体６６０ｂは用いず、磁性体６６０ａがＥＰＭ１６６と磁力で結合することによりスマートデバイス５０の本体に装着される。

同様に、無線ＬＡＮモジュール７００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６７ａ，１６７ｂと対向する位置に、磁性体７６０ａ，７６０ｂが設けられている。また、姿勢検知モジュール８００及び移動体通信モジュール９００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６８，１６９と対向する位置に、磁性体８６０，９６０が設けられている。

更に、アプリケーションプログラム制御モジュール２００の背面には、スマートデバイス５０の本体に設けられたＥＰＭ１６２ａ，１６２ｂと対向する位置に、磁性体２６０ａ，２６０ｂが設けられている。また、電源モジュール４００、及び記録モジュール１５０の背面には、スマートデバイス５０の本体に設けられたＥＰＭ，１６４ａ，１６４ｂ，１６１と対向する位置に、磁性体，４６０ａ，４６０ｂ，１５６ａが設けられている。尚、記録モジュール１５０の背面には磁性体１５６ｂも設けられているが、スマートデバイス５０の本体にはこれと対向する磁性体が存在しない。このため、記録モジュール１５０では磁性体１５６ｂは用いず、磁性体１５６ａがＥＰＭ１６１と磁力で結合することによりスマートデバイス５０の本体に装着される。

本体側ＣＭＣ１４５ｂ，１４６，１４７ｂ，１４８，１４９，１４２ａ，１４２ｂ，１４４ａ，１４４ｂ，１４１と対向する位置にモジュール側ＣＭＣ５４０，６４０，７４０，８４０，９４０，２４０ａ，２４０ｂ，４４０ａ，４４０ｂ，１５４が設けられる。これらのモジュール側ＣＭＣにより、各モジュールはスマートデバイス５０の本体とデータの送受信を行う。磁性体５６０ｂ，６６０ａ，７６０ｂ，８６０，９６０，２６０ａ，２６０ｂ，４６０ａ，４６０ｂ，１５６ａとモジュール側ＣＭＣ５４０，６４０，７４０，８４０，９４０，２４０ａ，２４０ｂ，４４０ａ，４４０ｂ，１５４はそれぞれ隣接して設けられる。このように、撮像モジュール５００，６００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、移動体通信モジュール９００、記録モジュール１５０には、それぞれ一対の磁性体及びモジュール側ＣＭＣが設けられている。また、アプリケーションプログラム制御モジュール２００及び電源モジュール４００は、それぞれ二対の磁性体及びモジュール側ＣＭＣが設けられている。

図３は、スマートデバイス５０の本体に、モジュール１５０，２００，３００，３５０，４００，５００，６００，７００，８００，９００を取り付ける方法を示した説明図である。

ここで、図３（ａ）は、スマートデバイス５０の本体の正面側に、表示操作モジュール３００及びスピーカモジュール３５０を取り付ける方法を示した説明図である。また、図３（ｂ）は、スマートデバイス５０の本体の背面側に、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、及び移動体通信モジュール９００を取り付ける方法を示した説明図である。また、図３（ｂ）では、スパイン１０２の右側に、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、及び記録モジュール１５０を取り付ける方法も併せて示す。

図３（ａ）に示すように、表示操作モジュール３００及びスピーカモジュール３５０は、スマートデバイス５０の本体に対して、リブ１０１ａ〜ｃに沿って側面方向からスライドさせて取り付けられる。このとき、表示操作モジュール３００及びスピーカモジュール３５０は、スマートデバイス５０の本体の左側面、或いは右側面のどちら側からでも挿入することができる。

図３（ｂ）に示すように、撮像モジュール５００、無線ＬＡＮモジュール７００、姿勢検知モジュール８００、移動体通信モジュール９００は、スマートデバイス５０の本体に対して、左側面からスライドさせて取り付けられる。左側面から各モジュールをスパイン１０２に突き当てることにより、スマートデバイス５０の本体に対してモジュール５００，７００，８００，９００の位置が決定する。また、撮像モジュール６００、アプリケーションプログラム制御モジュール２００、電源モジュール４００、記録モジュール１５０は、スマートデバイス５０の本体に対して、右側面からスライドさせて取り付けられる。右側面から各モジュールをスパイン１０２に突き当てることにより、スマートデバイス５０の本体に対してモジュール６００，２００，４００，１５０の位置が決定する。

本実施例において、図３（ｂ）のようにスマートデバイス５０の本体の背面側に設けられたスロットは、サイズによって３種類に大別される。まずスロット１５００，１６００，１７００，１１００が同じ種類であり、例えば撮像モジュール５００はこの４箇所のうち、どのスロットを選択して装着しても構わない。また最も大きいスロット１２００，１４００が同じ種類であり、例えばアプリケーションプログラム制御モジュール２００はこの２箇所のうち、どちらのスロットを選択して装着しても構わない。同様に最も小さいスロット１８００，１９００が同じ種類であり、例えば姿勢検知モジュール８００はこの２箇所のうち、どちらのスロットを選択して装着しても構わない。

図４は、スマートデバイス５０の本体に設けられたＥＰＭ１６５ｂと、撮像モジュール５００に設けられた磁性体５６０ｂとの磁力による結合を説明する模式図である。

ここで、図４（ａ）は、スマートデバイス５０の本体と撮像モジュール５００とが磁力による結合をしていない状態の部分拡大図である。また、図４（ｂ）は、スマートデバイス５０の本体と撮像モジュール５００とが磁力による結合をしている状態の部分拡大図である。尚、図４は例としてＥＰＭ１６５ｂと磁性体５６０ｂとの組み合わせを示すものであるが、他のＥＰＭと磁性体との組み合わせについても図４と同様である。

図４（ａ）に示すようにＥＰＭ１６５ｂは、極性が固定された永久磁石１６５１と永電磁石１６５２との両側面を、磁性体１６５３ａ，１６５３ｂによって連結・保持した構造となっている。ここで用いる永久磁石１６５１には、例えば磁束密度が非常に高いネオジム磁石などが適している。また永電磁石１６５２は、アルニコ等の硬磁性体からなる可逆性の永久磁石１６５４と、可逆性の永久磁石１６５４の周りに巻かれたコイル１６５５とから構成されている。コイル１６５５に電流を流すと、可逆性の永久磁石１６５４は一方向に着磁され、通電が終了した後もそのまま着磁状態を保持する。コイル１６５５に対する通電時間は１〜数秒程度であり、比較的短い時間である。こうして永電磁石１６５２は、コイル１６５５（極性変更手段）に流す電流の向きを変えることにより、極性が可変な永電磁石となる。

図４（ａ）に示す状態でコイル１６５５に対して通電すると、可逆性の永久磁石１６５４を着磁して、永電磁石１６５２は極性が固定された永久磁石１６５１の磁力線の向きと引き合う向きの磁力線を発生させる。その結果、永電磁石１６５２の磁力線と永久磁石１６５１の磁力線とが互いに閉じたループ形状となり、撮像モジュール５００の磁性体５６０ｂを吸着しようとする磁力は非常に弱くなる。そのため撮像モジュール５００は、ＥＰＭ１６５ｂから吸着力を受けずに解放される。

一方図４（ｂ）に示すように、図４（ａ）とは逆方向にコイル１６５５に対して通電すると、可逆性の永久磁石１６５４を着磁して、永電磁石１６５２は極性が固定された永久磁石１６５１の磁力線の向きと反発し合う向きの磁力線を発生させる。その結果、永電磁石１６５２の磁力線と永久磁石１６５１の磁力線とが互いに強め合って、撮像モジュール５００に設けられた磁性体５６０ｂを吸着する磁力が非常に高まる。そのため撮像モジュール５００は、ＥＰＭ１６５ｂから吸着力を受けてスマートデバイス５０の本体に固着される。このように本実施例では、着脱手段にＥＰＭを採用することで、各モジュールの着脱の作業性と信頼性との両立を実現している。

図５は、複数のモジュール２００〜６００，８００及びこれらが装着されたスマートデバイス５０のハードウェア構成を示すブロック図である。

以下、図５を用いて、スマートデバイス５０の本体、アプリケーションプログラム制御モジュール２００、表示操作モジュール３００、電源モジュール４００、撮像モジュール５００，６００、及び姿勢検知モジュール８００の構成を説明する。尚、スマートデバイス５０の本体に装着可能なモジュールは多種多様であり、図５に示す組み合わせは単なる一例に過ぎず、本発明はその組み合わせを限定するものではない。

＜スマートデバイス５０の本体の構成＞
スマートデバイス５０の本体は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体に装着された各モジュールに関する制御を行う。スマートデバイス５０の本体において、１１０はスマートデバイス５０の本体全体を制御するシステム制御回路である。システム制御回路１１０は、カーネルやＯＳを実行させた環境で各種アプリケーションプログラムを実行する際、アプリケーションプログラム制御モジュール２００が備えるアプリケーション制御回路２１０の指示や要求に応じて、協調動作を行う。そしてシステム制御回路１１０は、スマートデバイス５０の本体と各モジュールとを連携して動作させることが可能となっており、アプリケーション制御回路２１０を介して各種サービス、機能を実行することが可能である。

１１２は、システム制御回路１１０が直接アクセスして読み書きを行うメモリである。１１４は、システム制御回路１１０の動作用の定数、変数、プログラム、各スロットの位置情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここで、各スロットの位置情報には、スマートデバイス５０の本体の背面側に設けられたスロット１１００，１２００，１４００，１５００，１６００，１７００，１８００，１９００のそれぞれの位置情報が含まれる。この各スロットの位置情報は、各スロットにおいて、モジュールを装着した際にその位置を決定することになる、各リブ１０１ａ，ｃ〜ｈやスパイン１０２の突き当て面の座標を特定するものである。尚、本実施例は各モジュールの位置決めを、リブ１０１ａ，ｃ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、各モジュールに凸部と嵌合する凹部を設けるなどしても良い。この場合、各スロットの位置情報には、位置決め用の凸部の位置情報が含まれることになる。

１１６は識別情報メモリであり、スマートデバイス５０の本体が各モジュールと通信を行う際に必要な各種識別情報が格納されている。１１８は、スマートデバイス５０の本体の所定箇所の温度を計測するための単数或いは複数の温度センサである。１２０は、システム制御回路１１０を介してスマートデバイス５０の本体の各部に必要な所定の電圧・電流を供給する電源制御回路である。

１２２は、スマートデバイス５０の本体の電源制御回路１２０及びコネクタ１８２〜１８６，１８８の電源端子に接続される電源バスである。コネクタ１８２〜１８６，１８８の電源端子は、それぞれ、各モジュールのコネクタ２８０，３８０，４８０，５８０，６８０，８８０の電源端子を介して、各モジュールの電源制御回路２２０，３２０，４１０，５２０，６２０，８２０と接続されている。

１３０はスイッチインターフェース回路であり、図５に示すように、本体側ＣＭＣ１４２ａ，１４２ｂ（不図示），１４３，１４４ａ，１４４ｂ（不図示），１４５ｂ，１４６，１４８を介して、各モジュールと接続する。これにより、各モジュールとスマートデバイス５０の本体の間でデータやメッセージの高速な通信を切り替え中継する。本体側ＣＭＣ１４２ａ，１４３，１４４ａ，１４５ｂ，１４６，１４８は、誘導結合（インダクティブカップリング）方式により接触近接通信を行う。これにより、それぞれがこれに近接するモジュール側ＣＭＣ２４０ａ，３４０，４４０ａ，５４０，６４０，８４０と高速通信を行う。尚、本体側ＣＭＣとこれに近接するモジュール側ＣＭＣとの組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

図５に示すように、スマートデバイス５０は、ＥＰＭ１６２ａ，１６２ｂ（不図示），１６３，１６４ａ，１６４ｂ（不図示），１６５ａ，１６５ｂ（不図示），１６６，１６８を備える。これは、それぞれモジュールの磁性体２６０ａ，２６０ｂ（不図示），３６０，４６０ａ，４６０ｂ（不図示），５６０ａ，５６０ｂ（不図示），６６０ａ，８６０を磁力制御により吸着或いは非吸着する。これにより、各モジュールをスマートデバイス５０の本体のフレーム構造と各モジュールとの接続箇所において、固定（ロック）或いは解放（リリース）する。尚、スマートデバイス５０の本体側の各ＥＰＭとこれに接続するモジュール側の磁性体との組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

コネクタ１８２〜１８６，１８８は、それぞれモジュールのコネクタ２８０，３８０，４８０，５８０，６８０，８８０と接続する。これにより、電源関係（パワーバス、グラウンド）の端子群を、スマートデバイス５０の本体と各モジュール間で相互に使用可能とする。更に、モジュールの装着を示す検出（Ｄｅｔｅｃｔ）信号の端子、モジュールのスリープ解除を示す起動（Ｗａｋｅ）信号の端子、アンテナの配線をつなぐＲＦ信号の端子などの各機能についても同様に、相互に使用可能とするものである。ここで本実施例におけるコネクタ１８２〜１８６，１８８は、スマートデバイス５０の本体のリブ１０１ａ〜ｈやスパイン１０２の側面部に形成された一般的な小型の金属端子であるが、図１〜３に示す位置からは視認できないため不図示とする。尚、コネクタ１８２〜１８６，１８８と、これに接続するモジュール側のコネクタの組み合わせは、ユーザの意図に応じて適宜変更されるものであり、図５に示す組み合わせは単なる一例に過ぎない。

＜アプリケーションプログラム制御モジュール２００の構成＞
アプリケーションプログラム制御モジュール２００は、アプリケーション制御回路２１０の動作により、スマートデバイス５０の本体とこれに装着された各モジュールを含めた全体システムを統括制御する。例えばアプリケーション制御回路２１０は、表示操作モジュール３００が備える表示操作制御回路３１０を介して、表示部であるＬＣＤパネル３１２を制御し、各種情報の表示を行うことが可能である。またアプリケーション制御回路２１０は、表示操作モジュール３００が備える表示操作制御回路３１０を介して、操作入力手段であるタッチパネル及び操作ボタン（以下「ＴＰ／ボタン」という）３１４に対する操作入力情報を取得することができる。そして、その操作入力内容に応じて、カーネルのサービスやＯＳのサービス、各種アプリケーションプログラムによる処理を実行させることが可能である。

２１２は、アプリケーション制御回路２１０が直接アクセスして読み書きを行うメモリである。２１４は、アプリケーション制御回路２１０の動作用の定数、変数、プログラム等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。２１６は識別情報メモリであり、アプリケーションプログラム制御モジュール２００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。２２０は、アプリケーションプログラム制御モジュール２００の各部に必要な所定の電圧・電流を供給する電源制御回路である。２２２は、アプリケーションプログラム制御モジュール２００の所定箇所の温度を計測するための単数或いは複数の温度センサである。２３０はインターフェース回路であり、モジュール側ＣＭＣ２４０ａを介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

２９０は、各専用アプリケーションプログラムを実行する上で必要となる複数の管理ファイルの情報を記憶した管理テーブルである。管理ファイルの情報には、各専用アプリケーションプログラムを実行する際に不可欠なモジュールの種類や、所望の機能を最大限に活用できる該当モジュールの組み合わせや、該当モジュールを装着するのに最適な各スロットの位置関係などが含まれる。また本実施例は、管理ファイルの情報として、各専用アプリケーションプログラムに必須ではないものの、機能追加に有効なモジュールの種類などを含んでおり、ユーザに多くの選択肢を提供することで利便性を高めている。こうした管理ファイルの情報は、アプリケーション制御回路２１０が、管理テーブル２９０から取得する。尚、本発明はこの構成に限定されるものではなく、管理ファイルの情報はメモリ２１２や不揮発性メモリ２１４に記憶させても良い。この場合の管理ファイルの情報は、アプリケーション制御回路２１０が、メモリ２１２や不揮発性メモリ２１４から取得することになる。

＜表示操作モジュール３００の構成＞
表示操作モジュール３００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体の制御により、各種情報の表示、操作入力の取得を行う。表示操作モジュール３００において、３１０は表示操作モジュール３００全体を制御する表示操作制御回路である。表示操作モジュール３００の表示部としては、ＬＣＤ、ＯＬＥＤ、ＬＥＤ等の表示デバイスを採用することができるが、本実施例はＬＣＤパネル３１２を採用している。表示操作モジュール３００の操作入力手段としては、タッチパネル（ＴＰ）、操作ボタン等の操作デバイスを独立して構成しても一体として構成してもよいが、本実施例では、独立して構成されるＴＰ／ボタン３１４を採用している。

ＬＣＤパネル３１２は、アプリケーションプログラム制御モジュール２００のアプリケーション制御回路２１０の指示に応じて、表示操作制御回路３１０によりユーザに対する各種情報の表示を行う。また、ＴＰ／ボタン３１４へのユーザによるタッチパネル操作やボタン操作等の入力操作と、マイク３１８が検出した音声信号とは、表示操作制御回路３１０を介して、アプリケーション制御回路２１０に伝達される。

３１６は識別情報メモリで、表示操作モジュール３００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。３２０は、表示操作モジュール３００の各部に必要な所定の電圧・電流を供給する電源制御回路である。３２２は、表示操作モジュール３００の所定箇所の温度を計測するための単数或いは複数の温度センサである。３３０はインターフェース回路であり、モジュール側ＣＭＣ３４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜電源モジュール４００の構成＞
電源モジュール４００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体の電源バス１２２を介して電池４２０の放電・充電を行う。電源モジュール４００において、４１０は電池４２０の放電・充電制御を含め、電源モジュール４００全体を制御する電池制御回路であり、電源モジュール４００の各部に必要な所定の電圧・電流を供給する。４１６は識別情報メモリであり、電源モジュール４００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。

電池４２０には、Ｌｉ−ｉｏｎ電池、燃料電池等が該当する。電池４２０は、電池制御回路４１０によりコネクタ４８０を介して、スマートデバイス５０の本体及び各モジュールに対して放電すると共に、スマートデバイス５０の本体及び不図示の充電モジュールから充電される。４２２は、電源モジュール４００の所定箇所の温度を計測するための単数或いは複数の温度センサである。４３０はインターフェース回路であり、モジュール側ＣＭＣ４４０ａを介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜撮像モジュール５００の構成＞
撮像モジュール５００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、所望の撮像処理を行うモジュールとしての撮像装置である。撮像モジュール５００において５１０は、光軸上に光学レンズを複数配置したカメラである。更にカメラ５１０は、通過する光量を調節する絞り機構と、光軸方向に少なくとも一枚の光学レンズを移動させて焦点調節を行うＡＦ機構と、これらの構成部品を内部に収納するレンズ鏡筒とで構成されている。またカメラ５１０は、光電変換により画像データを得る撮像センサと、画像データを処理する画像処理回路と、各機構を制御する駆動制御回路とを備える。

カメラ５１０は、絞りやシャッター速度や撮像センサの感度を最適に設定する自動露出調節（ＡＥ）、被写体距離に応じた自動焦点調節（ＡＦ）、色温度を調節して適正な色調を再現する自動ホワイトバランス（ＡＷＢ）などの制御を実現する。他にも本実施例は、姿勢検知モジュール８００で取得した角速度情報から手ブレを算出し、撮像センサ上で切り出した露光範囲を追従させることで、簡易的に手ブレ補正（ＩＳ）を行うことが可能である。尚、本発明はこうした撮像装置の一般的な制御方法を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

カメラ５１０への指示は、アプリケーション制御回路２１０で実行されるアプリケーションプログラムや、表示操作モジュール３００の操作入力手段であるＴＰ／ボタン３１４に対する入力に応じて行われる。カメラ５１０により取得した画像データは、アプリケーション制御回路２１０が、スマートデバイス５０の本体と表示操作モジュール３００とを制御することで、ＬＣＤパネル３１２に表示可能となる。

５１６は識別情報メモリで、撮像モジュール５００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。５２０は、撮像モジュール５００の各部に必要な所定の電圧・電流を供給する電源制御回路である。

５２２は、カメラ５１０の動作用の定数、変数、構成部品の位置情報、光軸の誤差情報、レンズの誤差情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここでいう構成部品の位置情報には、撮像モジュール５００の外形から見た光軸の座標情報が含まれている。前述のように、撮像モジュール５００は、スマートデバイス５０の本体に対してその外形を突き当てることで位置が決定される。尚、本実施例は撮像モジュール５００の位置決めを、スマートデバイス５０の本体のリブ１０１ａ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、撮像モジュール５００に凸部と嵌合する凹部を設けるなどしても良い。この場合、構成部品の位置情報には、凸部と嵌合する凹部から見た光軸の座標情報が含まれることになる。

また光軸の誤差情報には、詳しくは後述するが、例えば部品や組立の精度により製造誤差として生じる、カメラ５１０の光軸の傾きの誤差が含まれる。一方レンズの誤差情報には、例えば製造誤差として生じる焦点距離の誤差やＦ値の誤差、歪曲、光軸を回転中心とする撮像センサの角度誤差などが含まれる。こうした製造誤差に関する情報を不揮発性メモリ５２２に記憶させることで、アプリケーション制御回路２１０の処理においてこれらの誤差を補正することが可能となる。ひいては、後述する複眼カメラの機能を利用する際に画像の合成機能や測定機能の精度を高めることができる。

５３０はインターフェース回路であり、モジュール側ＣＭＣ５４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜撮像モジュール６００の構成＞
撮像モジュール６００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、所望の撮像処理を行うモジュールとしての撮像装置である。撮像モジュール６００において６１０は、光軸上に光学レンズを複数配置したカメラである。更にカメラ６１０は、通過する光量を調節する絞り機構と、光軸方向に少なくとも一枚の光学レンズを移動させて焦点調節を行うＡＦ機構と、これらの構成部品を内部に収納するレンズ鏡筒とで構成されている。またカメラ６１０は、光電変換により画像データを得る撮像センサと、画像データを処理する画像処理回路と、各機構を制御する駆動制御回路とを備える。こうしたカメラ６１０の構成部品は、前述のカメラ５１０と同様である。しかしながら、撮像モジュール６００におけるカメラ６１０の配置や形状は、撮像モジュール５００におけるカメラ５１０の配置や形状とは異なっている。

カメラ６１０は、カメラ５１０と同様の制御を実現する。具体的には、絞りやシャッター速度や撮像センサの感度を最適に設定する自動露出調節（ＡＥ）、被写体距離に応じた自動焦点調節（ＡＦ）、色温度を調節して適正な色調を再現する自動ホワイトバランス（ＡＷＢ）などの制御を実現する。他にも本実施例は、姿勢検知モジュール８００で取得した角速度情報から手ブレを算出し、撮像センサ上で切り出した露光範囲を追従させることで、簡易的に手ブレ補正（ＩＳ）を行うことが可能である。尚、本発明はこうした撮像装置の一般的な制御方法を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な個別の説明は省略する。

カメラ６１０への指示は、アプリケーション制御回路２１０で実行されるアプリケーションプログラムや、表示操作モジュール３００の操作入力手段であるＴＰ／ボタン３１４に対する入力に応じて行われる。カメラ６１０により取得した画像データは、アプリケーション制御回路２１０が、スマートデバイス５０の本体と表示操作モジュール３００とを制御することで、ＬＣＤパネル３１２に表示可能となる。

６１６は識別情報メモリで、撮像モジュール６００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。６２０は、撮像モジュール６００の各部に必要な所定の電圧・電流を供給する電源制御回路である。

６２２は、カメラ６１０の動作用の定数、変数、構成部品の位置情報、光軸の誤差情報、レンズの誤差情報等を記憶し、電気的に消去・記録可能な不揮発性メモリであり、例えばフラッシュメモリ等が用いられる。ここでいう構成部品の位置情報には、撮像モジュール６００の外形から見た光軸の座標情報が含まれている。前述のように、撮像モジュール６００は、スマートデバイス５０の本体に対してその外形を突き当てることで位置が決定される。尚、本実施例は撮像モジュール６００の位置決めを、スマートデバイス５０の本体のリブ１０１ａ〜ｈとスパイン１０２への突き当てにより行っているが、本発明はこれに限定されるものではない。例えば、スマートデバイス５０の本体に位置決め用の凸部を設け、撮像モジュール６００に凸部と嵌合する凹部を設けるなどしても良い。この場合、構成部品の位置情報には、凸部と嵌合する凹部から見た光軸の座標情報が含まれることになる。

また光軸の誤差情報には、詳しくは後述するが、例えば部品や組立の精度により製造誤差として生じる、カメラ６１０の光軸の傾きの誤差が含まれる。一方レンズの誤差情報には、例えば製造誤差として生じる焦点距離の誤差やＦ値の誤差、歪曲、光軸を回転中心とする撮像センサの角度誤差などが含まれる。こうした製造誤差に関する情報を不揮発性メモリ６２２に記憶させることで、アプリケーション制御回路２１０の処理においてこれらの誤差を補正することが可能となる。ひいては、後述する複眼カメラの機能を利用する際に画像の合成機能や測定機能の精度を高めることができる。

６３０はインターフェース回路であり、モジュール側ＣＭＣ６４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。

＜姿勢検知モジュール８００の構成＞
姿勢検知モジュール８００は、アプリケーションプログラム制御モジュール２００による統括制御の下で、スマートデバイス５０の本体によって制御され、スマートデバイス５０の姿勢を検知する。姿勢検知モジュール８００において、８１０は３軸のジャイロセンサから角速度情報を取得するジャイロセンサである。８１６は識別情報メモリであり、姿勢検知モジュール８００がスマートデバイス５０の本体及び各モジュールと通信を行う際に必要な各種識別情報が格納されている。８２０は、姿勢検知モジュール８００の各部に必要な所定の電圧・電流を供給する電源制御回路である。８２２は、姿勢検知モジュール８００の所定箇所の温度を計測するための単数或いは複数の温度センサである。

８３０はインターフェース回路であり、モジュール側ＣＭＣ８４０を介して、スマートデバイス５０の本体及び各モジュールとのデータやメッセージの高速な通信を中継する。インターフェース回路８３０は、ジャイロセンサ８１０で取得した角速度情報を、スマートデバイス５０の本体に送信する。そこから更に、スマートデバイス５０の本体は、アプリケーションプログラム制御モジュール２００にデータを高速で転送する。こうして、姿勢検知モジュール８００の角速度情報は、表示操作モジュール３００における表示方向の切り替えや、撮像モジュール５００，６００に対する手ブレ補正などに用いられる。

＜アプリケーションプログラム制御モジュール２００の動作説明＞
図６は、アプリケーションプログラム制御モジュール２００により実行される、複数のモジュールが装着されたスマートデバイス５０の動作制御処理の手順を示すフローチャートである。

図６の処理は、アプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体と表示操作モジュール３００とが低消費電力状態であって、表示操作モジュール３００の電源ボタン３１４ａへのユーザ操作があったときに開始する。

かかるユーザ操作があると、表示操作制御回路３１０は、アプリケーション制御回路２１０へ向けてスリープ解除を示す起動（Ｗａｋｅ）信号を送信する。アプリケーション制御回路２１０は、表示操作制御回路３１０からの起動（Ｗａｋｅ）信号を受信すると、ステップＳ１１００において初期設定を実行する。また本実施例は、スマートデバイス５０の本体に装着される全てのモジュールのコネクタ部に検出（Ｄｅｔｅｃｔ）信号の端子が設けられている。これにより、例えば空いているスロットに対して新たなモジュールを装着した際も同様に、検出（Ｄｅｔｅｃｔ）信号が送信されてステップＳ１１００に移行する。

ステップＳ１１００において、アプリケーション制御回路２１０は、所定のフラグや制御変数等をリセットして初期化すると共に、アプリケーションプログラム制御モジュール２００の各部の初期化を行う。続いて、アプリケーション制御回路２１０は、不揮発性メモリ２１４から読み出したソフトウェアプログラムを実行して、カーネル起動とＯＳ起動を順次行う。その後、インターフェース回路２３０、モジュール側ＣＭＣ２４０ａ、本体側ＣＭＣ１４２ａ、スイッチインターフェース回路１３０を介して、スマートデバイス５０の本体のシステム制御回路１１０との通信の初期化を行う。システム制御回路１１０の初期化によってスマートデバイス５０の本体に装着される全てのモジュールは動作可能な状態となる。これにより、例えば表示操作モジュール３００において、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２に所定の起動画面を表示させる。そして表示操作モジュール３００は、操作入力手段であるＴＰ／ボタン３１４に対するユーザの入力指示が可能な状態に至る。

ステップＳ１１００を終えると、ステップＳ１１０１に進み、アプリケーション制御回路２１０は、ステップＳ１１０１において終了メッセージを受信したか否かを判断する。この終了メッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示部であるＬＣＤパネル３１２に終了ボタンを表示すると共に、この終了ボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、この終了ボタンがユーザ選択されたとき、表示操作制御回路３１０は、アプリケーション制御回路２１０に終了メッセージを送信する。

ステップＳ１１０１で終了メッセージを受信したと判断した場合、ステップＳ１１２０に進む。ステップＳ１１２０で、アプリケーション制御回路２１０は終了処理を行なう。具体的には、アプリケーション制御回路２１０は、システム制御回路１１０に終了メッセージを送信した後、フラグや制御変数等を必要に応じて不揮発性メモリ２１４に退避する。それと共に、ＯＳ及びカーネルを低消費電力で動作する動作終了状態に移行する。そして、電源制御回路２２０を介したアプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体と表示操作モジュール３００とへの電力供給を、低消費電力の設定に変更する。システム制御回路１１０は、終了メッセージを受信すると、アプリケーションプログラム制御モジュール２００とスマートデバイス５０の本体、表示操作モジュール３００以外のモジュールの全ての動作を停止する処理を行う。

ステップＳ１１２０の終了処理を終えた後、アプリケーション制御回路２１０は、本処理を終了し、所謂電源ＯＦＦの状態に至る。

ステップＳ１１０１で、終了メッセージを受信しなかった場合、ステップＳ１１０２に進む。ステップＳ１１０２において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０からスリープ状態に移行するスリープメッセージを受信したかどうかを判断する。このスリープメッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示部であるＬＣＤパネル３１２にスリープボタンを表示すると共に、このスリープボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このスリープボタンがユーザ選択されたとき、表示操作制御回路３１０は、アプリケーション制御回路２１０にスリープ状態に移行するスリープメッセージを送信する。

ステップＳ１１０２で、スリープ状態に移行するスリープメッセージを受信したと判断した場合、ステップＳ１１０３に進む。ステップＳ１１０３において、アプリケーション制御回路２１０はスリープ処理を行なう。具体的には、アプリケーション制御回路２１０は、システム制御回路１１０にスリープメッセージを送信した後、フラグや制御変数等を必要に応じて不揮発性メモリ２１４に退避する。それと共に、ＯＳ及びカーネルを低消費電力で動作するスリープ動作状態に移行する。そしてシステム制御回路１１０は、スリープメッセージを受信すると、スマートデバイス５０の全てのモジュールの動作をスリープ状態に移行する処理を行った後、ステップＳ１１０４に進む。

尚、ステップＳ１１００で初期設定がされると、表示操作モジュール３００のＬＣＤパネル３１２には、上述した終了ボタン、スリープボタンの他、後述するリリースボタン、アプリ実行ボタンが表示される。これらのボタンのいずれもＬＣＤパネル３１２に表示されてから所定時間が経過するまでにユーザ選択されない場合がある。また、本処理の開始時に表示操作モジュール３００の電源ボタン３１４ａへのユーザ操作があった後、表示操作制御回路３１０から送信される起動（Ｗａｋｅ）信号が所定の時間を経過しても受信されない場合がある。このような場合、スリープメッセージを受信したのと同じようにステップＳ１１０３に進む。更に、ステップＳ１１０２において、アプリケーション制御回路２１０は、後述する処理による入力指示や起動（Ｗａｋｅ）信号が最後に受信されたタイミングから経過した時間を積算する。この積算した時間を所定値と比較した結果、積算時間のほうが長ければスリープ状態に移行する。その後のスリープ処理については、前述した通りである。

ステップＳ１１０４において、アプリケーション制御回路２１０は、コネクタ２８０を介して、各モジュールから送信される起動（Ｗａｋｅ）信号を受信したかどうか判断する。ステップＳ１１０４で起動（Ｗａｋｅ）信号を受信しなかったならば、起動（Ｗａｋｅ）信号を受信するまでスリープ動作状態を継続する。ここで、本実施例におけるスリープ動作状態とは、前述した電源ＯＦＦの状態とは異なる。例えば、移動体通信モジュール９００が移動体通信の規格に準じた呼び出し信号を受信した際、アプリケーション制御回路２１０は、直ちにスマートデバイス５０をスリープ動作状態から所定のアプリ実行状態へと移行させる。尚、こうした移動体無線通信システムの一般的な制御については、既に公知であるため詳しい説明を省略する。

ステップＳ１１０４で起動（Ｗａｋｅ）信号を受信したならば、ステップＳ１１０５に進む。ステップＳ１１０５において、アプリケーション制御回路２１０は、フラグや制御変数等を必要に応じて不揮発性メモリ２１４から戻す。それと共に、ＯＳ及びカーネルを通常消費電力で動作する通常動作状態に移行し、電源制御回路２２０を介したスマートデバイス５０の全てのモジュールへの電力供給を通常消費電力の設定に変更する復帰処理を行う。更にステップＳ１１０５において、アプリケーション制御回路２１０は、スマートデバイス５０の本体のシステム制御回路１１０との通信の復帰処理を行う。このときシステム制御回路１１０は、アプリケーション制御回路２１０以外の全てのモジュールに対して復帰処理を行い、スマートデバイス５０を通常動作状態に移行させて、ステップＳ１１０１に戻る。

ステップＳ１１０２でスリープ状態に移行するスリープメッセージを受信しなかった場合、ステップＳ１１０６に進む。ステップＳ１１０６において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０からリリースメッセージを受信したかどうかを判断する。このリリースメッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２にリリースボタンを表示すると共に、このリリースボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このリリースボタンがユーザ選択され、更に、どのモジュールの取り外しを行うかのユーザ指示が入力された場合、表示操作制御回路３１０は、アプリケーション制御回路２１０にリリース状態に移行するリリースメッセージを送信する。

ステップＳ１１０６でリリース状態に移行するリリースメッセージを受信したと判断した場合、ステップＳ１１０７に進む。ステップＳ１１０７において、アプリケーション制御回路２１０は、ユーザが取り外しを意図するモジュールに対して、正常に機能を終了させてＥＰＭを解放するためのリリース処理を実行する。リリース処理の詳細は、図７を用いて後述する。ステップＳ１１０７を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１０６で、リリース状態に移行するリリースメッセージを受信しなかった場合、ステップＳ１１０８に進む。ステップＳ１１０８において、アプリケーション制御回路２１０は、各モジュールの検出（Ｄｅｔｅｃｔ）信号を受信したかどうかを判断する。ここで検出（Ｄｅｔｅｃｔ）信号とは、スマートデバイス５０の本体に対して新たにモジュールが装着されたことを検出する信号である。また、この検出信号は、その新たに装着されたモジュールからシステム制御回路１１０を介してアプリケーション制御回路２１０に送信される電気信号のことである。

ステップＳ１１０８で検出（Ｄｅｔｅｃｔ）信号を受信したならば、ステップＳ１１０９に進む。ステップＳ１１０９において、アプリケーション制御回路２１０は、スマートデバイス５０の本体に挿入された該当モジュールを固定し適切に機能させるためのモジュール設定処理を実行する。モジュール設定処理の詳細は、図８を用いて後述する。ステップＳ１１０９を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１０８で検出（Ｄｅｔｅｃｔ）信号を受信しなかったと判断した場合、ステップＳ１１１０に進む。ステップＳ１１１０において、アプリケーション制御回路２１０は、表示操作モジュール３００の表示操作制御回路３１０から、アプリケーションプログラム関係メッセージを受信したかどうかを判断する。このアプリケーションプログラム関係メッセージは、表示操作制御回路３１０において以下のような形でアプリケーション制御回路２１０に送信される。まず、表示操作制御回路３１０は、表示部であるＬＣＤパネル３１２にアプリ実行ボタンを表示すると共に、このアプリ実行ボタンをＴＰ／ボタン３１４でユーザ選択できる状態とする。その後、このアプリ実行ボタンがユーザ選択され、更に、どのアプリケーションプログラムを実行するかユーザ入力された場合、表示操作制御回路３１０は、アプリケーション制御回路２１０にアプリケーションプログラム関係メッセージを送信する。

ステップＳ１１１０でアプリケーションプログラム関係メッセージを受信したと判断した場合、ステップＳ１１１１に進み、アプリケーション制御回路２１０は、ステップＳ１１１１でアプリケーションプログラム実行処理を実行する。本実施例で想定されるアプリケーションプログラムには、各モジュールの組み合わせによって実現され得る様々な機能が含まれる。例えば、移動体通信モジュール９００と表示操作モジュール３００の組み合わせにより通話機能が可能となり、無線ＬＡＮモジュール７００と表示操作モジュール３００の組み合わせによりインターネット接続を介したウェブ閲覧が可能となる。また例えば、撮像モジュール５００のみによって一般的な撮影機能が実現され、そこへ撮像モジュール６００を組み合わせることによって複眼カメラの機能である画像の合成機能や測定機能が実現される。こうしたアプリケーションプログラムの一例である撮影アプリケーション実行処理の詳細は、図９を用いて後述する。ステップＳ１１１１を終了すると、ステップＳ１１０１に戻る。

ステップＳ１１１０でアプリケーションプログラム関係メッセージを受信しなかったと判断した場合、ステップＳ１１０１に戻る。

図７は、図６のステップＳ１１０７のリリース処理の詳細な手順を示すフローチャートである。

図７において、まずステップＳ１２０１で、アプリケーション制御回路２１０は、システム制御回路１１０にユーザにより取り外し指示を受けたモジュール（以下「リリース対象モジュール」という）の機能の終了を指示するメッセージを送信する。次にステップＳ１２０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０から送信される、リリース対象モジュールのモジュール情報が更新されていることを通知する情報更新メッセージを受信したかどうかを判断する。

ステップＳ１２０２で情報更新メッセージを受信しなかったと判断した場合、アプリケーション制御回路２１０は、ステップＳ１２０３で所定のエラー処理を行う。その後、ステップＳ１２０５においてＥＰＭを制御することにより、リリース対象モジュールのロック状態を解除して本処理を終了する。ステップＳ１２０３のエラー処理では、表示操作モジュール３００などにエラー内容を表示してユーザに通知しても良い。

ステップＳ１２０２で情報更新メッセージを受信したと判断した場合、ステップＳ１２０４に進む。ステップＳ１２０４において、アプリケーション制御回路２１０は、受信した情報更新メッセージの内容に応じて、ＯＳ及びカーネルが管理する不揮発性メモリ２１４及びメモリ２１２の所定領域に格納された管理情報を更新する。ここでいう管理情報とは、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。その後、ステップＳ１２１５においてＥＰＭを制御することにより、リリース対象モジュールのロック状態を解除して本処理を終了する。

図８は、図６のステップＳ１１０９の装着処理の詳細な手順を示すフローチャートである。

図８において、まずステップＳ１３０１で、アプリケーション制御回路２１０は、システム制御回路１１０と共にメッセージ通信のコネクションセットアップを行い、システム制御回路１１０とのネットワークリンクを確立する。次にステップＳ１３０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０を介してスマートデバイス５０の本体に装着されたモジュール（以下「装着モジュール」という）から初期化などのモジュール情報を取得する。更にステップＳ１３０３に進み、アプリケーション制御回路２１０は、ステップＳ１３０２で取得したモジュール情報が、スマートデバイス５０において問題の無い内容かどうかを検証する。例えば、安定した通信が可能か、既に装着されている電源モジュール４００の電圧で動作可能か、またその他にも、スマートデバイス５０に個別で設定されている規格がある場合にはそれを満足しているか等が検証される。

ステップＳ１３０３で検証した結果に問題があれば、アプリケーション制御回路２１０は、ステップＳ１３０４で所定のエラー処理を行った後、装着モジュールに対して本処理を終了する。エラー処理では、表示操作モジュール３００などにエラー内容などを表示してユーザに通知しても良い。

一方、ステップＳ１３０３で検証した結果に問題が無ければ、装着モジュールが正常であると判断し、ステップＳ１３０５に進む。ステップＳ１３０５において、アプリケーション制御回路２１０は、初期化を行う装着モジュールのモジュール情報に基づき、不揮発性メモリ２１４及びメモリ２１２の所定領域に格納された管理情報を更新する。ここでいう管理情報とは、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。

次にステップＳ１３０６において、アプリケーション制御回路２１０は、システム制御回路１１０に初期化を行う装着モジュールのＥＰＭロック指示メッセージを送信する。これにより、スマートデバイス５０の本体と初期化を行う装着モジュールとが、ＥＰＭにより固定されてロック状態となる。

続いて、ステップＳ１３０７でアプリケーション制御回路２１０は、システム制御回路１１０に向けて通信開始指示メッセージを送信し、一連の初期化処理を行った装着モジュールとのメッセージ通信が可能になったことを通知する。その後、ステップＳ１３０８において、状態変化フラグをＯＮに切り替えて、本処理を終了する。ここでいう状態変化フラグとは、各モジュールに割り付けられて不揮発性メモリ２１４に保持されるフラグであり、各モジュールの状態変化の有無によりＯＮとＯＦＦとが切り替えられる再処理フラグである。状態変化フラグがＯＮとなるのは、各モジュールの状態変化フラグがＯＦＦの状態において、スマートデバイス５０の本体に装着された各モジュールの状態が変化した時である。尚、状態の変化としては、各モジュールの装着の他に、外部からの衝撃、電池残量の変化、故障、性能の劣化などが含まれる。また、スマートデバイス５０の本体にある温度センサ１１８により計測された温度変化が一定の閾値を超えた場合や、図５において不図示の湿度センサにより計測された湿度変化が一定の閾値を超えた場合は、すべてのモジュールの状態変化フラグがＯＮとなる。

本処理の結果、装着モジュールが正常であり（ステップＳ１３０３でＹＥＳ）、更に装着モジュールがロック状態となったときに（ステップＳ１３０６）、装着モジュールの機能がスマートデバイス５０において利用可能な状態となる。

尚、本発明の装着処理は図８に示す手順に限定されるわけでない。例えば、各通信を安定させるため、ＥＰＭによる装着モジュールのロックをステップＳ１３０１の前に行っても良く、その場合はステップＳ１３０４の後にロック解除を行うことになる。

図９は、図６のステップＳ１１１１のアプリケーションプログラム実行処理の一例である撮影アプリケーション実行処理の動作フローを示すフローチャートである。

図９において、まずステップＳ１４０１で表示操作モジュール３００の操作入力により撮影アプリケーションを立ち上げると、アプリケーション制御回路２１０は、管理テーブル２９０から撮影アプリケーションの管理ファイルの情報を取得する。この情報には、撮影アプリケーションを実行するのに不可欠なモジュールの種類や、撮影機能を最大限に活用できる該当モジュールの組み合わせや、該当モジュールを装着するのに最適な各スロットの位置関係が含まれる。

次にステップＳ１４０２に進み、アプリケーション制御回路２１０は、システム制御回路１１０を介して各モジュールからモジュール情報を取得する。そしてステップＳ１４０３において、撮像アプリケーションの管理ファイルの情報に基づき、必要なモジュールが装着されているか、その組み合わせに問題がないか等を検証する。

ステップＳ１４０３で検証した結果に問題があれば、アプリケーション制御回路２１０は、ステップＳ１４０４で所定のエラー処理を行った後、本撮影アプリケーション実行処理を終了する。エラー処理では、表示操作モジュール３００などにエラー内容などを表示してユーザに通知しても良い。例えば、ステップＳ１４０２の時点でいずれのスロットにも撮像モジュールが装着されておらず、撮像アプリケーションを実行できない場合は、ステップＳ１４０４のエラー処理においてエラー内容を通知し、本撮影アプリケーション実行処理を終了する。またその他に、装着された撮像モジュール５００に手ブレ補正（ＩＳ）の機能が備わっているにも関わらず、例えば姿勢検知モジュール８００が装着されていないために手ブレを検知できない場合がある。この場合は、ステップＳ１４０４のエラー処理において撮影機能の一部を制限する。この場合は、本撮影アプリケーション実行処理を終了する必要はなく、エラー内容の通知に対してユーザの操作入力等があれば、状況に応じてステップＳ１４０５の撮影実行処理に移行しても良い。

ステップＳ１４０３で検証した結果に問題が無ければ、ステップＳ１４０５に進んで撮影実行処理を行う。その後、アプリケーション制御回路２１０は、撮像アプリケーションに必要な各モジュールの動作を停止し、本処理を終了する。撮影実行処理の詳細は、図１０を用いて後述する。

図１０は、図９のステップＳ１４０５において実行される撮影実行処理の手順を示すフローチャートである。

図１０のステップＳ１５０１で、アプリケーション制御回路２１０は、モジュール起動指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこの撮像モジュール起動指示のメッセージを受信すると、装着されている撮像モジュール（本実施例では、撮像モジュール５００，６００）はリセット動作を行って撮影準備を完了させる。

次にステップＳ１５０２において、図９のステップＳ１４０２で取得したモジュール情報から、アプリケーション制御回路２１０は、撮像モジュールが複数装着されているかどうかを判断する。撮像モジュールが一つのみであった場合はステップＳ１５０３に進む。例えば撮像モジュール５００のみが装着されている場合、アプリケーション制御回路２１０が、そのカメラ５１０を利用して単眼モードの一般的な撮影を実行し、ステップＳ１５１０に進む。ここでいう一般的な撮影とは、自動露出（ＡＥ）、自動焦点調節（ＡＦ）、自動ホワイトバランス（ＡＷＢ）、手ブレ補正（ＩＳ）等の制御を行いつつ、撮像センサから所望の画像データを取得することである。尚、本発明はこうした一般的な撮影の内容を限定するものではなく、またこれらは既に先行技術文献等により公知であるため、詳細な説明は省略する。

ステップＳ１５０２で、撮像モジュールが複数装着されていると判断した場合は、ステップＳ１５０４に進む。ステップＳ１５０４において、アプリケーション制御回路２１０は、装着されている各撮像モジュールの状態が変化したかどうかを検知するため、状態変化フラグがＯＮとなっているかどうかを判断する。このとき、状態変化フラグが全てＯＦＦであればステップＳ１５０８に進む。このとき、例えば撮像モジュール５００，６００が装着され、且つ複眼モードでの撮影のユーザ指示があった場合、ステップＳ１５０８のＡＦ切り替え処理を行なう。その後、アプリケーション制御回路２１０が、そのカメラ５１０，６１０を介して複眼モードの撮影を実行した後、本処理を終了する。前述のように、複眼カメラの機能には、画像の合成機能や測定機能が含まれる。

ステップＳ１５０４の判断の結果、装着されている撮像モジュール（例えば撮像モジュール５００，６００）のいずれかの状態変化フラグがＯＮとなっていた場合、ステップＳ１５０５に進む。

ステップＳ１５０５では、そのカメラ５１０，６１０の光軸間の距離である基線長の情報を取得する。具体的には、アプリケーションプログラム制御モジュール２００に設けられた管理テーブル２９０から、撮像モジュール５００，６００が装着された各スロット１５００、１６００の位置関係に対応した値を基線長の情報として取得する。

続いてステップＳ１５０６において、アプリケーション制御回路２１０は、ステップＳ１５０５で取得した基線長の情報に基づき、不揮発性メモリ２１４及びメモリ２１２の所定領域に格納された管理情報を更新する。ここでいう管理情報とは、ステップＳ１５０５で新たに得た基線長の情報以外に、モジュール管理情報、ＥＰＭ制御管理情報、ＲＦバス構成管理情報を含む。

その後、ステップＳ１５０７へ進み、アプリケーション制御回路２１０はステップＳ１５０４でＯＮとなっていると判断された状態変化フラグをＯＦＦに切り替える。ここで状態変化フラグがＯＮとなるタイミングとは、例えば図８の装着処理におけるステップＳ１３０８で新たなモジュールをスマートデバイス５０の本体に対して装着した時である。一方、状態変化フラグがＯＦＦとなるタイミングとは、例えば、ステップＳ１５０７のように、管理ファイルを最新の状態に更新した直後である。このように、適切なタイミングで状態変化フラグのＯＮとＯＦＦとを切り替えることにより、本実施例ではモジュールの状態変化が常に管理される。

続いてステップＳ１５０８に進み、アプリケーション制御回路２１０が、状況に応じてＡＦ制御方式を位相差ＡＦ制御とコントラストＡＦ制御かを選択するＡＦ切り替え処理を実行する。ＡＦ切り替え処理の詳細は図１１において説明する。尚、図１１のＡＦ切り替え処理は、複眼モードでの撮影のユーザ指示があった場合の処理である。

それぞれのＡＦ制御方式については公知の技術であるため、具体的な制御に関してはここでは省略するが、概略、次のように動作する。

位相差ＡＦ制御は、カメラ５１０，６１０それぞれに撮像された画像の視差（視差情報）を元に、カメラ５１０，６１０間の基線長から三角測量によって奥行きを求めて被写体距離を計算し、焦点位置を検出する。尚、前述したように、基線長とは、少なくとも２つの撮像モジュールの視差情報を処理する目的で用いられる変数であって、２つの光軸間の距離を示しているが、先行技術文献によっては位置ずれ量や視差といった表現で記載されるものである。カメラ５１０，６１０間の基線長の算出方法については後述する。

一方、コントラストＡＦ制御は、被写体像を撮像するための撮像素子から出力された信号のレベルがピークに向かう方向に、カメラ内部の焦点調節レンズを駆動させる。コントラストＡＦ制御は、位相差ＡＦ制御のように合焦に必要な焦点調節レンズの駆動方向、駆動量を直接検知することはできないため、合焦動作に時間がかかってしまうという欠点がある。しかし、撮像素子からの出力信号に基づいて合焦判定を行っているので、高精度に焦点検出を行うことが出来るという特長をもつ。

次に、ステップＳ１５０９に進み、アプリケーション制御回路２１０が、例えばカメラ５１０，６１０を複眼カメラとして利用して複眼モードの撮影を実行した後、本処理を終了する。前述のように複眼カメラの機能には、画像の合成機能や測定機能が含まれる。

最後にステップＳ１５１０で、アプリケーション制御回路２１０は、撮像モジュール終了指示のメッセージをシステム制御回路１１０に送信し、本処理を終了する。システム制御回路１１０はこの撮像モジュール終了指示のメッセージを受信すると、電源制御回路２２０を介して撮像モジュール５００，６００への電源供給を、低消費電力の設定に変更する。

図１１は、図１０のステップＳ１５０８において行われるＡＦ切り替え処理の手順を示すフローチャートである。上述のように、このＡＦ切り替え処理は、複眼モードでの撮影指示がユーザからあった場合に行われる。

図１１のステップＳ１６０１で、アプリケーション制御回路２１０により合焦指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこの合焦指示のメッセージを受信すると、装着されている撮像モジュール（本実施例では、撮像モジュール５００，６００）はそのカメラ５１０，６１０の合焦動作を開始する。

ステップＳ１６０２でカメラ５１０，６１０の視差情報を利用した位相差ＡＦによって撮影画面内所定位置の被写体に対する焦点検出を行う。

次にステップＳ１６０３へ進み、アプリケーション制御回路２１０によって、位相差ＡＦによって位相差ＡＦによって焦点検出（合焦）されたかどうか判定する。位相差ＡＦによって焦点検出されなかった場合は、ステップＳ１６０６へ進み、位相差ＡＦからコントラストＡＦに切り替える。

次にステップＳ１６０３において、位相差ＡＦ制御によって焦点検出された場合は、ステップＳ１６０４へ進み、あらかじめ設定された閾値を取得する。この閾値は距離を示す値であり、後述するステップＳ１６０５において位相差ＡＦ制御で測距された被写体距離と比較される。

なお、閾値は、基線長に応じて異なる。基線長が長い場合は、至近側での位相差ＡＦ制御での測距精度が低いため、閾値は大きく、基線長が短い場合は、至近側での位相差ＡＦ制御での測距に強いため閾値は小さい。

その後ステップＳ１６０５に進み、位相差ＡＦ制御により測距された被写体距離がステップＳ１６０４で得られた閾値で示す距離よりも遠い場合は合焦ができたと判断し、ステップＳ１６０９に進む。ステップＳ１６０９でアプリケーション制御回路２１０は、合焦結果を通知し、ＡＦ切り替え処理を終了する。

ステップＳ１６０５において、前期位相差ＡＦ制御により測距された被写体距離がステップＳ１６０４で得られた閾値で示す距離よりも近い場合は、ステップＳ１６０６へ進み、位相差ＡＦ制御からコントラストＡＦ制御に切り替える（切替手段）。これは、カメラ５１０，６１０同士が遠くて基線長が長いと、望遠側では測距精度が高い反面、至近側では画像処理が困難となり正確に測距できない恐れがあるためである。

続いてステップＳ１６０７へ進み、ステップＳ１６０６のコントラストＡＦによって合焦できているかどうか判定する。コントラストＡＦによって合焦できない場合は、アプリケーション制御回路２１０は、ステップＳ１６０８で所定のエラー処理を行った後、本ＡＦ切り替え処理を終了する。

コントラストＡＦで合焦できた場合は、アプリケーション制御回路２１０は、ステップＳ１６０９で合焦結果を通知し、ＡＦ切り替え処理を終了する。

また、アプリケーション制御回路２１０は、マクロ撮影モードと望遠モードを備えている。これらのモードがユーザ選択された場合、図１１とは異なるＡＦ切り替え処理が行われる。具体的には、マクロ撮影モードがユーザにより選択された場合は、測距された被写体距離の値に関係なく、位相差ＡＦ制御による焦点検出をした後、コントラストＡＦ制御に切り替えて焦点検出を行なう。この結果、より精度の高い合焦結果を得ることが可能となる。一方、望遠モードがユーザにより選択された場合、ＡＦ制御方式として位相差ＡＦ制御のみを有効にする。この結果、より高速で測距することが可能となる。

以上で、スマートデバイス５０の一連の動作フローの説明を終了する。尚、図５に示すアプリケーションプログラム制御モジュール２００に設けられた管理テーブル２９０は、無線ＬＡＮモジュール７００等により、アプリケーションプログラムのアップデートがされた時点で情報を更新することができる。そのため、図５における管理テーブル２９０は、各モジュールの種類や実現できる機能、その他必要となる情報を適宜変更したり追加したりすることが可能である。

図１２は、図１０のステップＳ１５０５において実行される基線長の算出方法を示した説明図である。

前述した図１０のステップＳ１５０５において、アプリケーション制御回路２１０は、スマートデバイス５０の本体のメモリ１１４から各スロットの位置情報を取得する。ここで本実施例における各スロットの位置情報とは、スロット１５００，１６００との位置情報を含み、モジュールの位置を決定する各リブ１０１ａ，ｃ〜ｈやスパイン１０２の突き当て面の位置を特定するものである。これと同時に、ステップＳ１５０５においてアプリケーション制御回路２１０は、撮像モジュール５００の不揮発性メモリ５２２からカメラ５１０における光軸の座標情報を取得する。またアプリケーション制御回路２１０は、撮像モジュール６００の不揮発性メモリ６２２からカメラ６１０における光軸の座標情報を取得する。ここで本実施例における各光軸の座標情報とは、それぞれの撮像モジュール５００，６００の外形から見た各光軸の座標を特定するものである。

具体的にはこうした位置・座標情報を基にして、アプリケーション制御回路２１０は、図１２に示すＸ１０１〜Ｘ１０３及びＹ１０１、Ｙ１０２のそれぞれの数値を得る。Ｘ１０１は、撮像モジュール５００の突き当て面からカメラ５１０における光軸までの水平方向の長さを示しており、同じくＹ１０１は、垂直方向の長さを示している。Ｘ１０２は、スマートデバイス５０の本体におけるスパイン１０２の水平方向の長さを示している。Ｘ１０３は、撮像モジュール６００の突き当て面からカメラ６１０における光軸までの水平方向の長さを示しており、同じくＹ１０２は、垂直方向の長さを示している。

図１２に示すＬ１００は、カメラ５１０における光軸とカメラ６１０における光軸とを結んだ中心線の長さを示しており、基線長に相当するものである。基線長Ｌ１００は、Ｘ１０１〜Ｘ１０３とＹ１０１、Ｙ１０２とから幾何学的に算出されるものである。ここで本実施例における基線長Ｌ１００は、下記数１に示す計算式によって求められる。

［数１］
Ｌ１００＝√｛（Ｘ１０１＋Ｘ１０２＋Ｘ１０３）^２＋（Ｙ１０１−Ｙ１０２）^２｝
上記に示すように、計算式自体は比較的単純であり、アプリケーションプログラム制御モジュール２００のメモリ２１２や不揮発性メモリ２１４に要求とされるメモリ容量は比較的少ない。更に、アプリケーション制御回路２１０による処理速度は非常に高速であるため、合焦や露光開始までにタイムラグを生じさせてしまう恐れはない。

（実施例２）
ここまで本発明の好ましい実施の形態を、図１〜１２に示す実施例１に従って説明してきた。ここから以下に、モジュールを取り付けるスロットの組み合わせのみを実施例１から変更する実施例２について説明する。

図１３は、本実施例にかかる電子機器としてのスマートデバイス５０の外観図であり、図１０のステップＳ１５０５において実行される基線長の計算方法を示した説明図である。

本実施例は実施例１と異なり、スマートデバイス５０の本体の背面側において、スロット１６００に撮像モジュール５００が、またスロット１１００に撮像モジュール６００が装着されている。そして、実施例１において撮像モジュール５００が装着されていたスロット１５００に対して、本実施例では記録モジュール１５０が取り付けられた状態となっている。こうすることによって、カメラ５１０における光軸とカメラ６１０における光軸とをより離して配置し、基線長を長くすることができる。一般的に基線長を長くすると、遠くの被写体を撮影する際、立体視モードにおいて立体感を得やすく、また測距精度を高めることが可能である。また、ユーザがスマートデバイス５０を使用する際の持ちやすさなどによっても、こうした撮像モジュール５００，６００との位置関係は変更されるものである。

前述した図１０のステップＳ１５０５においてアプリケーション制御回路２１０は、スマートデバイス５０の本体のメモリ１１４から各スロットの位置情報を取得する。ここで本実施形態における各スロットの位置情報とは、スロット１５００，１６００，１８００の位置情報を含み、モジュールの位置を決定する各リブ１０１ａ〜ｈやスパイン１０２の突き当て面の位置を特定するものである。これと同時に、ステップＳ１５０５においてアプリケーション制御回路２１０は、撮像モジュール５００の不揮発性メモリ５２２からカメラ５１０における光軸の座標情報を取得する。またアプリケーション制御回路２１０は、撮像モジュール６００の不揮発性メモリ６２２からカメラ６１０における光軸の座標情報を取得する。ここで本実施例における各光軸の座標情報とは、それぞれの撮像モジュール５００，６００の外形から見た各光軸の座標を特定するものである。

具体的にはこうした位置・座標情報を基にして、アプリケーション制御回路２１０は、図１３に示すＸ２０１〜Ｘ２０３及びＹ２０１、Ｙ２０２のそれぞれの数値を得る。Ｘ２０１は、撮像モジュール５００の突き当て面からカメラ５１０における光軸までの水平方向の長さを示しており、同じくＹ２０１は、垂直方向の長さを示している。Ｘ２０２は、スマートデバイス５０の本体におけるリブ１０１ｆとリブ１０１ｈの水平方向の長さを示している。Ｘ２０３は、撮像モジュール６００の突き当て面からカメラ６１０における光軸までの水平方向の長さを示しており、同じくＹ２０２は、垂直方向の長さを示している。

図１３に示すＬ２００は、カメラ５１０における光軸とカメラ６１０における光軸とを結んだ中心線の長さを示しており、基線長に相当するものである。基線長Ｌ２００は、Ｘ２０１〜Ｘ２０３とＹ２０１、Ｙ２０２とから幾何学的に算出されるものである。ここで本実施例における基線長Ｌ２００は、下記数２に示す計算式によって求められる。

［数２］
Ｌ２００＝√｛（Ｘ２０１＋Ｘ２０２＋Ｘ２０３）^２＋（Ｙ２０１−Ｙ２０２）^２｝
上記に示すように、計算式自体は比較的単純であり、アプリケーションプログラム制御モジュール２００のメモリ２１２や不揮発性メモリ２１４に要求とされるメモリ容量は比較的少ない。更に、アプリケーション制御回路２１０による処理速度は非常に高速であるため、合焦や露光開始までにタイムラグを生じさせてしまう恐れはない。

以上が、本実施例にかかる図１０のステップＳ１５０６において実行される基線長Ｌの計算方法である。

また、前述のように、スマートデバイス５０は装着されるモジュールの組み合わせが比較的自由であるため、複数の撮像モジュールをそれぞれ異なるスロットに装着することもできる。このため、それぞれのカメラの光軸を結ぶ中心線の長さ、すなわち基線長Ｌは一様ではない。

前述のように、カメラ５１０，６１０同士が遠く基線長が長い状態においては、望遠側では測距精度が高くなる半面、至近側では画像処理が困難となり正確に測距できなくなるなど、基線長の長さが測距性能の結果に寄与している。

このため、アプリケーションプログラム制御モジュール２００は、撮像モジュール５００，６００の間隔の大きさに応じて設定される閾値を保持し、この閾値と測距される被写体距離とを比較する。

例えば、図１２に示す撮像モジュール５００，６００の間隔が狭い第一の装着状態での基線長Ｌ１００は、図１３に示す撮像モジュール５００，６００の間隔が広い第二の装着状態での基線長Ｌ２００よりも短い。

この時、第一の装着状態に応じて設定される閾値は、第二の装着状態に応じて設定される閾値よりも小さくなる。

以上、本発明の好ましい実施例１とは別の実施の形態を、図１３に従って説明した。尚、スマートデバイス５０の本体に装着可能なモジュールは多種多様であり、またモジュールを装着するスロットもユーザにより自由に選択可能であるため、図１３に示す組み合わせは単なる一例に過ぎず、本発明はその組み合わせを限定するものではない。

（実施例３）
ここまで本発明の好ましい実施の形態を、図１〜１３に示す実施例１，２に従って説明してきた。ここから以下に、複眼モードの撮影実行時におけるＬＣＤパネル３１２のライブビュー画像の表示方法のみを実施例１及び実施例２から変更する実施例３について説明する。

本実施例に係るスマートデバイス５０の本体とその他のモジュールとは実施例１と同じ構成であるため、本実施例においては実施例１と異なる部分のみを説明する。

図１４（ａ）はスマートデバイス５０の本体の、表示操作モジュール３００側外観図、側面外観図、撮像モジュール５００，６００側外観図を示した図である。

図１４（ｂ）はマルチ表示モード時のＬＣＤパネル３１２の外観図、図１４（ｃ）はシングル表示モード時のＬＣＤパネル３１２の外観図を示している。

図１４（ｂ）に示すように、ＬＣＤパネル３１２は、撮像モジュール５００から出力されるライブビュー画像５１１と、撮像モジュール６００から出力されるライブビュー画像６１１をマルチ表示する事ができる。

また、マルチ表示モードでは、ＬＣＤパネル３１２の表示領域において、撮像モジュール５００に近接する側にライブビュー画像５１１を、撮像モジュール６００に近接する側にライブビュー画像６１１を表示する。

尚、本実施例では、ライブビュー画像５１１，６１１をそれぞれが出力される撮像モジュールに近接する側に表示しているが、本発明はこれに限定されるものではなくユーザ指定により任意に変更可能である。

図１４（ｃ）に示すように、ＬＣＤパネル３１２は、ライブビュー画像５１１，６１１のいずれかを選択して表示したり、画像の合成、または、複眼モードでの撮影を行った後、位相差ＡＦ制御により処理を行った画像をシングル表示することも可能である。

このように、ＬＣＤパネル３１２は、撮像モジュール５００，６００のそれぞれから出力されるライブビュー画像５１１，６１１に関して、シングル表示モード、または、マルチ表示モードのいずれかのモードに選択表示することが可能である。

また、以下の合焦処理において、ＬＣＤパネル３１２は、ライブビュー画像５１１，６１１の表示モードを、シングル表示モード、または、マルチ表示モードのいずれかに切り替えてもよい。

まず、アプリケーション制御回路２１０により合焦指示のメッセージをシステム制御回路１１０に送信する。システム制御回路１１０を介してこの合焦指示のメッセージを受信すると、撮像モジュール５００，６００はそのカメラ５１０，６１０の合焦動作を開始する。これにより、カメラ５１０，６１０の視差情報を利用した位相差ＡＦによって撮影画面内所定位置の被写体に対する焦点検出を行う。

次に、アプリケーション制御回路２１０によって、位相差ＡＦによって合焦できているかどうか判定する。位相差ＡＦ制御によって合焦できた場合は、画像処理を行い、ＬＣＤパネル３１２にメインカメラから出力されたライブビュー画像のみを表示するシングル表示モードとする。

一方、位相差ＡＦによって合焦できていない場合や位相差ＡＦにより測距された被写体距離が閾値で示す距離よりも近い場合は、位相差ＡＦによる画像処理が不可能と判断する。この場合、ＬＣＤパネル３１２にライブビュー画像５１１，６１１がそれぞれ表示される、マルチ表示モードとする。

以上、本発明の好ましい別の実施の形態を、図１４に従って説明した。尚、ＬＣＤパネル３１２の表示方法は多種多様であり、図１４に示す表示方法は単なる一例に過ぎず、本発明はその表示方法を限定するものではない。

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

５０ スマートデバイス
１０１ａ〜ｈ リブ
１０２ スパイン
１１８ 温度センサ
１０００〜１９００ スロット
２００ アプリケーションプログラム制御モジュール
２１０ アプリケーション制御回路
２１４ 不揮発性メモリ
５００，６００ 撮像モジュール
５１０，６１０ カメラ

Claims (16)

1. 第１及び第２の撮像モジュールを複数の取り付け領域のいずれかにそれぞれ装着する電子機器において、
   複眼モードで撮影を行う第１の撮影手段と、
   前記第１及び第２の撮像モジュールのいずれか一方により、コントラストＡＦによる焦点検出を行うコントラストＡＦ制御手段と、
   前記第１及び第２の撮像モジュールのそれぞれで撮像された画像の視差を示す視差情報から被写体距離を測距し、焦点検出を行う位相差ＡＦ制御手段と、
   前記複眼モードにおいて、前記位相差ＡＦ制御手段により焦点検出されない場合、及び前記位相差ＡＦ制御手段により焦点検出された場合であって、前記測距された被写体距離が閾値で示す距離より近い場合は、前記位相差ＡＦ制御手段から前記コントラストＡＦ制御手段に切り替えて焦点検出を行う切替手段とを備え、
   前記閾値は、前記装着された第１及び第２の撮像モジュールの間隔の大きさに応じて設定される値であることを特徴とする電子機器。
2. 前記被写体距離は、前記視差情報を基に前記２つの撮像モジュールの間の基線長から算出されることを特徴とする請求項１記載の電子機器。
3. 前記第１及び第２の撮像モジュールの間の基線長が短いほど、前記閾値は小さい値に設定されることを特徴とする請求項２記載の電子機器。
4. 前記閾値を保持する保持手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
5. マクロ撮影を行う第２の撮影手段を更に備え、
   前記マクロ撮影において、前記位相差ＡＦ制御手段による焦点検出を行った後、前記コントラストＡＦ制御手段に切り替えて焦点検出を行うことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
6. 望遠で撮影を行う第３の撮影手段を更に備え、
   前記望遠での撮影において、前記位相差ＡＦ制御手段及び前記コントラストＡＦ制御手段のうち、前記位相差ＡＦ制御手段のみを有効にすることを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
7. 前記第１の撮像モジュールから出力される第１のライブビュー画像と、前記第２の撮像モジュールから出力される第２のライブビュー画像とを表示する表示手段を更に備え、
   前記表示手段は、前記第１及び第２のライブビュー画像を合成もしくはそのいずれかを選択して表示するシングル表示モードと、前記第１及び第２のライブビュー画像を分割して表示するマルチ表示モードとを備えることを特徴とする請求項１乃至６のいずれか１項に記載の電子機器。
8. 前記複眼モードにおいて、前記位相差ＡＦ制御手段により焦点検出されない場合、及び前記位相差ＡＦ制御手段により焦点検出された場合であって、前記測距された被写体距離が閾値で示す距離より近い場合、前記マルチ表示モードとすることを特徴とする請求項７記載の電子機器。
9. 前記マルチ表示モードは、前記表示手段の表示領域において、前記第１の撮像モジュールに近接する側に前記第１のライブビュー画像を、前記第２の撮像モジュールに近接する側に前記第２のライブビュー画像を表示することを特徴とする請求項７又は８記載の電子機器。
10. 前記複眼モードは、前記第１及び第２の撮像モジュールのそれぞれから出力される画像を合成するモードであり、前記複数の取り付け領域は略同一平面であって、前記第１及び第２の撮像モジュールの光軸が略平行である場合にユーザ選択可能なモードに設定されることを特徴とする請求項１乃至９のいずれか１項に記載の電子機器。
11. 前記第１及び第２の撮像モジュールが前記複数の取り付け領域のいずれかにそれぞれ装着されているか否かを検出する検出手段を更に備え、
    前記検出手段により前記第１及び第２の撮像モジュールのそれぞれが前記複数の取り付け領域のいずれかに装着されたと検出された場合に、前記第１の撮影手段により前記複眼モードで撮影を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。
12. 前記複数の取り付け領域のそれぞれの、前記第１及び第２の撮像モジュールの有する磁性体に対応する位置に設けられる永電磁石と、前記永電磁石の極性を個別に変更する極性変更手段とを更に備え、
    前記極性変更手段は、前記永電磁石の極性を個別に変更することによって、前記第１及び第２の撮像モジュールの前記複数の取り付け領域のいずれかへの解放及び固着を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の電子機器。
13. 前記複数の取り付け領域を分割するガイド部を更に備え、
    前記ガイド部は、前記第１及び第２の撮像モジュールを前記複数の取り付け領域のいずれかに取り付ける際にガイドし、且つ装着後の前記第１及び第２の撮像モジュールを保持することを特徴とする請求項１乃至１２のいずれか１項に記載の電子機器。
14. 請求項１乃至１３のいずれか１項に記載の前記複数の取り付け領域のいずれかに装着された場合に、前記第１及び第２の撮像モジュールのうちの１つとして機能することを特徴とする撮像装置。
15. 第１及び第２の撮像モジュールを複数の取り付け領域のいずれかにそれぞれ装着する電子機器の制御方法において、
    複眼モードで撮影を行う第１の撮影ステップと、
    前記第１及び第２の撮像モジュールのいずれか一方により、コントラストＡＦによる焦点検出を行うコントラストＡＦ制御ステップと、
    前記第１及び第２の撮像モジュールのそれぞれで撮像された画像の視差を示す視差情報から被写体距離を測距し、焦点検出を行う位相差ＡＦ制御ステップと、
    前記複眼モードにおいて、前記位相差ＡＦ制御ステップで焦点検出されない場合、及び前記位相差ＡＦ制御ステップで焦点検出された場合であって、前記測距された被写体距離が閾値で示す距離より近い場合は、前記位相差ＡＦ制御ステップから前記コントラストＡＦ制御ステップに切り替えて焦点検出を行う切替ステップとを備え、
    前記閾値は、前記装着された第１及び第２の撮像モジュールの間隔の大きさに応じて設定される値であることを特徴とする制御方法。
16. 請求項１５記載の制御方法を実行することを特徴とするプログラム。

Images