JP6234333B2 - 撮像システム及び撮像方法 - Google Patents

Description

本発明は、分離された撮像部からの画像を表示可能な確認部を有する撮像システム及び撮像方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては表示部を有して、撮影画像を表示する機能を有するものもある。また、表示部にメニュー画面を表示して、撮影機器の操作を容易にしたものもある。このような表示部は、携帯機器本体の背面に設けられることが多く、ユーザは撮影時に、背面の表示部に表示されたスルー画を確認しながら撮影操作をすることも可能である。

また、撮像画像を処理する画像処理装置も種々開発されており、例えば特許文献１においては、連続的に撮像された画像の中から、ユーザが所望の画像を容易に選択することができるようにした画像処理装置であって、画像分類部が分類した画像群に含まれる複数の画像のうち、ユーザが選択した部分領域にフォーカスが合っている画像を選択する装置が開示されている。

ところで、近年、撮像画像の表示部を有しておらず、撮影と記録機能のみを備えたレンズ型カメラが採用されることがある。この種のレンズ型カメラは、一般的に、スマートフォンやタブレットＰＣ等に取り付けられ、取り付けられたスマートフォンやタブレットＰＣ等を操作機器（制御機器）として撮影が制御される。また、このようなスマートフォンやタブレットＰＣ等の制御機器は、レンズ型カメラからの撮像画像を表示する撮像表示装置としても機能する。

レンズ型カメラはスマートフォンやタブレットＰＣ等への着脱が自在であり、スマートフォンやタブレットＰＣ等から取り外した状態での撮影も可能となっている。この場合には、スマートフォンやタブレットＰＣ等の制御機器は、レンズ型カメラとの間で無線又は有線通信によって接続され、表示部に設けられたタッチパネル等を利用して、レンズ型カメラの撮影操作が可能である。

特開２００７−３１２０９７号公報

レンズ型カメラは、レンズ型カメラからの撮像画像を表示する撮像表示装置に装着した状態（連結状態）で使用される場合と、撮像表示装置から取り外された状態（分離状態）で使用される場合が考えられる。分離状態では、連結状態に比べて構図の自由度が増加するという利点がある。しかしながら、レンズ型カメラと撮像表示装置とが連結されていれば、撮影者の視線とレンズ型カメラとの視野方向が一致するのに対し、分離状態では撮影者の視線方向とレンズ型カメラの視野方向とが不一致となる場合があり、被写体の表示の確認や被写体を希望する視野範囲に位置させる構図設定が困難となる。このため構図設定に手間取りシャッタチャンスを逃すことがあるという問題があった。

本発明は、撮像部の動きに応じて撮影制御することで、ユーザの意図通りの撮影を簡単に行うことを可能にすることができる撮影機器を提供することを目的とする。

本発明に係る撮像システムは、撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムにおいて、上記撮像部の動きを判定する第１の動き判定部と、上記撮像部と上記確認部とが分離されている場合には、上記第１の動き判定部の判定結果に基づいて上記撮像部に連写を指示する制御部とを具備する。

また、本発明に係る撮像方法は、撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムの撮像方法において、上記撮像部の動きを判定する第１の動き判定ステップと、上記撮像部と上記確認部とが分離されている場合には、上記第１の動き判定部の判定結果に基づいて上記撮像部に連写を指示する制御ステップとを具備する。

本発明によれば、撮像部の動きに応じて撮影制御することで、ユーザの意図通りの撮影を簡単に行うことを可能にすることができるという効果を有する。

本発明の第１の実施の形態に係る撮影システムを示すブロック図。 撮影制御を説明するためのフローチャート。 第１の実施の形態の動作を説明するための説明図。 本発明の第２の実施の形態を示すブロック図。 図４の外観を示す説明図。 レンズ型カメラ５１におけるカメラ制御とスマートフォン６１の制御とを説明するためのフローチャート。 内蔵カメラ部６３からの撮像画像の一例を示す説明図。 図６中のステップＳ３７におけるレンズ型カメラ５１の連結判定通信の具体的な動作フローの一例を示すフローチャート。 連結判定の通信によって得られた情報を用いた制御部６５の連結判定フローを示すフローチャート。 ブレパターンの類似判定を説明するための説明図。 図６中のステップＳ２０における動き反映撮影制御の動作を示すフローチャート。 図６中のステップＳ４０における動き反映撮影制御の動作を示すフローチャート。 図１１に対応した撮影制御を説明するための説明図。 図１１に対応した撮影制御を説明するための説明図。 図１２に対応した撮影制御を説明するための説明図。 図６中のステップＳ２３における表示処理を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影システムを示すブロック図である。

図１において、撮像部１０は通信部１１を有しており、確認部２０は通信部２１を有している。例えば、撮像部１０をレンズ型カメラによって構成し、確認部２０をスマートフォンやタブレットＰＣによって構成することができる。通信部１１と通信部２１とは相互間で通信を行うことができる。撮像部１０と確認部２０とは通信部１１，２１によって相互に通信を行って、各種情報の送受を行うことができる。なお、スマートフォンやタブレットＰＣ等によって構成される確認部２０は、撮像部１０からの画像を確認するために表示を行うだけでなく、撮像部１０を操作及び制御するものであるので、「情報端末」、「撮像表示装置」、「操作装置」、「制御装置」等と表現しても良い。

撮像部１０は図示しない撮像素子を有している。撮像制御部１２は、通信部１１を介して確認部２０からの制御信号が与えられて、撮像素子による撮像を制御することができるようになっている。通信部１１は撮像素子によって取得された撮像画像を通信部２１に送信することができるようになっている。

本実施の形態においては、撮像部１０には動き判定部１３が設けられている。動き判定部１３は、撮像部１０の動きを判定して判定結果を通信部１１を介して確認部２０の制御部２５に出力することができるようになっている。なお、動き判定部１３は、加速度センサやジャイロセンサ等によって構成されており、これらのセンサの検出結果に基づいて撮像部１０の動きを判定することができる。また、動き判定部１３は、撮像部１０の撮像素子によって得た撮像画像の動きを検出して、撮像部１０の動きを判定するものであってもよい。

確認部２０は、図示しない撮像素子を有している。撮像制御部２２は確認部２０の撮像素子の撮像を制御することができるようになっている。確認部２０は表示部２３を有している。表示部２３は制御部２５に制御されて、撮像画像やメニュー等の表示を行う。

制御部２５は通信部２１，１１を介して撮像部１０の撮像を制御することができる。また、制御部２５は撮像部１０から通信部１１，２１を介して転送された撮像画像に対して所定の画像処理を施した後、撮像画像を表示部２３に与えて表示させることができる。また、制御部２５は、撮像部１０からの撮像画像を図示しない記録媒体に与えて記録することもできるようになっている。

確認部２０には操作部２４が設けられている。操作部２４は、例えば、図示しないスイッチやボタン等によって構成することができ、これらの操作部２４に対するユーザ操作に基づく操作信号を制御部２５に出力する。また、操作部２４としては、表示部２３の表示画面に配設される図示しないタッチパネルを採用してもよい。

このタッチパネルは、ユーザが指で指し示した表示部２３の表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部２５に供給される。これにより、制御部２５は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。例えば、タッチ操作で撮像部１０における各種撮影操作を行うことが可能である。

本実施の形態においては、確認部２０には動き判定部２６が設けられている。動き判定部２６は、確認部２０自体の動きを判定することができる。動き判定部２６は動きの判定結果を制御部２５に出力する。なお、動き判定部２６は、加速度センサやジャイロセンサ等によって構成されており、これらのセンサの検出結果に基づいて確認部２０の動きを判定することができる。また、動き判定部２６は、確認部２０の撮像素子によって得た撮像画像の動きを検出して、確認部２０の動きを判定するものであってもよい。

なお、動き判定部１３，２４は、撮像部１０及び確認部２０が動いているか停止しているか、動きの種類、例えば、円弧状であるか、四角状であるか、領域を囲む動きであるか直線状であるか、回転角度、動き量、動き速度等の種々の動き判定が可能である。

制御部２５は操作部２４の操作に基づいて確認部２０及び撮像部１０を制御するだけでなく、動き判定部１３の判定結果に従って、撮像部１０の撮像を制御することができるようになっている。なお、制御部２５は、動き判定部１３，２４の動き判定結果を図示しないメモリに記憶させるようになっている。これにより、制御部２５は、動きの判定の履歴に応じて、撮像部１０の撮像を制御することが可能である。

なお、制御部２５は、動き判定部１３，２６の判定結果や撮像部１０及び確認部２０による撮像画像等を用いることで、撮像部１０が確認部２０に装着されているか否か、即ち、撮像部１０と確認部２０とが連結されているか、それとも分離されているかを判定することができるようになっている。

次にこのように構成された実施の形態の動作について図２及び図３を参照して説明する。図２は撮影制御を説明するためのフローチャートであり、図３は第１の実施の形態の動作を説明するための説明図である。

確認部２０の制御部２５は、通信部２１，１１を介して撮像部１０の撮像制御部１２を制御する。撮像制御部１２は、制御部２５に制御されて、撮像部１０の撮像素子を駆動する。この撮像素子によって撮像されて得られた撮像画像は、通信部１１，２１を介して確認部２０に取り込まれる。確認部２０の制御部２５は、取り込んだ撮像画像に対して所定の信号処理を施した後表示部２３に与えてスルー画表示させる。ユーザは、表示部２３に表示されているスルー画を参照しながら、撮影操作を行うことができる。ユーザが操作部２４を操作して、撮像部１０の撮像画像から記録する画像を決定するためのレリーズ操作を行った場合には、制御部２５は撮像部１０に撮影を指示する。これにより、撮像部１０は撮像中の画像を静止画像として出力する。確認部２０の制御部２５は転送された撮像画像を図示しない記録媒体に記録する。

本実施の形態においては、ユーザによるレリーズ操作があった場合だけでなく、撮像部１０と確認部２０とが分離しているか否かの判定結果及び撮像部１０の動きの判定結果に基づいて、制御部２５により自動的な撮影が行われる。図２のステップＳ１では、撮像部１０と確認部２０とが分離しているか否かが判定される。例えば、制御部２５は、動き判定部１３，２４の動き判定結果に基づいて、確認部２０と撮像部１０とが分離しているか否かを判定することができる。撮像部１０が確認部２０に取り付けられている場合、即ち、連結状態である場合には、制御部２５は、操作態様１の表示形態及び操作制御を行う（ステップＳ４）。

図３（ａ）は操作態様１における表示を示している。図３（ａ）は確認部２０の筐体２０ａの操作面の略全域に表示部２３が設けられている様子を示している。表示部２３の表示画面２３ａ上には、撮像画像３２を表示する画像表示領域３１が設けられている。また、表示画面２３ａ上には、操作部２４を構成する操作アイコンである再生ボタン３５ａ、モードボタン３５ｂ及び撮影ボタン３５ｃが表示されている。

ユーザが再生ボタン３５ａ、モードボタン３５ｂ又は撮影ボタン３５ｃ上をタッチすることで、制御部２５は確認部２０を再生モード、モード設定モード又は撮影モードに移行させる。

撮像部１０が確認部２０に取り付けられている場合には、ユーザは筐体２０ａを両手で把持することが多いと考えられ、図３（ａ）の例のように、ユーザは左手の指４１Ｌ及び右手の指４１Ｒの両方の指（例えば親指）を用いて、タッチ操作を行う。両手の指を使った操作が可能であるので、図３（ａ）に示すように、操作アイコンは表示画面２３ａ上の上下左右の各部の配置領域に配置される。

制御部２５は、撮像部１０と確認部２０とが分離状態であると判定した場合には、次のステップＳ２において構図決定操作を行っているか否かを判定する。例えば、制御部２５は、撮影者が確認部２０を見ている状態で、撮像部１０が特定の移動をしているか否かを判定する。例えば、撮影者が一方の手で撮像部１０を把持して構え、他方の手で確認部２０を把持して表示部２３を確認しているものとする。この場合には、撮影者は、構図を決定するために撮像部１０を動かす。例えば、制御部２５は、動き判定部１３，２４の判定結果によって、確認部２０が停止状態で且つ、撮像部１０が構図決定のために移動しこの移動の後所定期間停止したことを検出すると、構図の決定操作が終了し、構図確定状態であるものと判定することも可能である。なお、撮影者が確認部２０を見ているか否かについては、確認部２０がインカメラを有していれば簡単に確認可能である。確認部２０がインカメラを有していない場合等においては、撮影者が確認部２０を見ているか否かについての判定を省略して、撮像部１０及び確認部２０の動きの関係のみによって、構図決定操作及び構図確定状態を判定してもよい。構図決定操作は、確認部（表示部）の動きや、撮像部の動きで判定する。
確認部（表示部）の動きの条件としては、この確認部とユーザの関係が略決まっていることを、例えば確認部または表示部がユーザの目から明視距離にあって上下左右がユーザの目に対して一定に保たれていることを画像で直接的に判定して条件とする。または、確認部または表示部が、手振れの範囲内で固定された状態を条件（ただし、机の上で伏せられているような状態は条件に入れなくても良い）として、これらを表示部側の条件としても良い。
また、撮像部の動きの条件を考慮してもよく、その場合は、後述する迷っている操作や、確認の操作が行われていることを判定すれば良い。構図決定操作は、表示部がそれをユーザがよく見るために、ほぼ固定されていて、撮像部は、確認と迷い（構図修正）が行われている。

制御部２５は、構図決定操作が行われている場合には、ステップＳ２から処理をステップＳ３に移行して、撮像部１０の迷う動きを判定する。撮像部１０と確認部２０との分離状態では、確認部２０の表示部２３によって撮像画像を確認する撮影者の視線と、撮像部１０の視野方向とが不一致であることが考えられる。この場合には、撮影者は、自分が希望する視野範囲を設定するために撮像部１０をどのように動かせば良いかを容易に認識することができず、動かし方を迷ってしまう。この結果、撮影者は構図決定操作において、比較的長時間撮像部１０を動かし続けたり、撮影したい被写体が画像の例えば中央の位置に撮像されているにも拘わらず、更に撮像部１０を移動させてしまったり、何回も被写体を探す動作を繰り返すことがある。ステップＳ３では撮像部１０のこのような動きを迷う動きとして判定する。

例えば、制御部２５は、撮像部１０の動きが所定期間以上継続して構図決定操作を行っている場合には、この動きが迷う動きであると判定してもよい。また例えば、制御部２５は、撮像画像から主要被写体が判定可能であって、判定した主要被写体の画像位置が所定期間以上継続して移動する場合等においては、この動きが迷う動きであると判定してもよい。
つまり「迷う動き」には、まず、被写体像をキャプチャするための動きがあり、まずは画面中央部に納められる被写体が定まらない状態がある。まず、画面内で継続して検出される対象物がなく、その後、特定の対象物が撮像された後は、それを捉え続けようとする。つまり、特定被写体が画面内に入ってくるまでもその一環として考えてもよい。
次に、画面の例えば中央部分に入った被写体像が、ユーザが構図や撮影の効果を確認するために確認とフィードバック動作を繰り返すような動きが考えられ、まず、同じ特徴の像が捉えられており、それ確認するために０．５秒程度（野球の投手がボールを投げてホームベースに届くまでが０.４秒と言われ、専門家では、この間に球種などが判定できるので、仮にこの数値としたが、もちろん個人差がある）の確認期間があるような場合、「迷う動き」と考える。この確認期間は、表示部も撮像部も動かさないとすると、微動、固定が０．５〜２秒程度で繰り返されるような動きパターンを、撮像結果の変化や姿勢判定や振動判定などを判定し、これを「動き判定」とすれば良い。この「動き判定」の方法については、さらに後述する。画面の中央でなく、特定の領域を判定しても良い。このとき、撮影者が表示部はしっかり見ているかを判定したり、揺らさないようにしているかを、同時に判定条件にしてもよい。

制御部２５は、ステップＳ３において撮像部１０に迷う動き生じなかったと判定した場合には、構図が確定したものと判定して処理をステップＳ５に移行する。本実施の形態においては、構図確定状態において撮像部１０が停止した状態で確認部２０が動くと、確認部２０の動きに応じた操作態様２の操作制御が行われる（ステップＳ５）。例えば、制御部２５は、構図確定状態においてユーザが確認部２０を回転させる操作をすると、この操作がズーム操作であるものと判定して、通信部２１，１１を介して撮像部１０に対してズーム制御を行う。

図３（ｂ）は操作態様２の状態を示している。図３（ｂ）は確認部２０の筐体２０ａ及びユーザの手４２を２重に記載して、筐体２０ａが動いている様子を示している。表示画面２３ａ上には、画像表示領域３１以外の領域に操作アイコンである撮影ボタン３７が表示されている。撮影者が図３（ｂ）の矢印に示すように、確認部２０を回転させると、制御部２５はこの動きがズーム操作であるものと判定する。この場合には、制御部２５は、回転方向によってズーム方向、回転角度によってズーム量を決定してもよい。また、ズームを示す操作として、正逆回転方向を切り換えながら筐体２０ａを回転移動させる操作を行ってもよい。この場合には、制御部２５は、最初に所定量以上回転させた方向によってズーム方向を決定し、正逆回転の回数によってズーム量を決定してもよい。

なお、ユーザが撮影ボタン３７上をタッチするレリーズ操作を行うことで、制御部２５は取り込んだ撮像画像を記録する。

この表示形態の場合には、ユーザは片手で筐体２０ａを把持し片手で撮像部１０を把持していることが多いと考えられ、ユーザにとってボタンやスイッチ等を利用した撮影操作は比較的困難である。この場合でも、確認部２０を動かす操作は比較的簡単であり、図３（ｂ）の例のように、ユーザは簡単にズーム操作を行うことができる。

本実施の形態においては、制御部２５は、ステップＳ３において迷う動きが生じたと判定した場合には、処理をステップＳ６に移行する。図３（ｃ）は迷う動きの一例を示している。ユーザは構図を決定するために確認部２０の表示部２３の表示を確認しながら、撮像部１０を移動させる。図３（ｃ）は、被写体が傾斜しないように縦構図又は横構図で撮影するために、ユーザが撮像部１０の筐体１０ａを矢印に示すように回転させることを示している。この場合、撮像部１０が円柱状であることから、ユーザは縦構図又は横構図をスルー画を見ることで確認しなければならず、しかも視線方向と撮像部１０の視野方向とが一致していないので、構図を決定するためにいずれの方向に回転させれば良いか迷ってしまい、迷う動きが生じている。

制御部２５は、ステップＳ６において、ユーザのレリーズ操作の有無に拘わらず、撮像部１０に連写による撮影を指示する。この指示によって、撮像部１０の撮像制御部１２は、連続的に撮像素子からの撮像画像を静止画像として取り込んで、確認部２０に順次送信する。確認部２０は、連写による撮像画像を図示しない記録媒体に順次記録する。

制御部２５は、ステップＳ７において、これらの操作態様１〜３に応じた表示に対する操作を検出すると、操作に応じた撮影制御や画像処理等を行う（ステップＳ８）。

なお、制御部２５は、図３（ｂ），（ｃ）に示す撮影ボタン３７のタッチ操作によって撮像部１０の撮像画像を静止画記録してもよく、また、例えば撮像部１０及び確認部２０の両方が所定期間以上停止することを検出して、自動的に静止画記録を行ってもよい。

また、上述した図２のフローチャートでは、撮像部１０と確認部２０との動きの履歴を利用する点については明確には示されていないが、撮像部１０と確認部２０との現在の動きの状態の関係だけでなく、撮像部１０と確認部２０との動きの履歴に応じて、操作態様を決定してもよい。

また、ステップＳ６では、連写するものとして説明したが、単写するように制御してもよい。

このように本実施の形態においては、撮像部と確認部とが分離しているか否かを判定すると共に、分離状態の場合には、構図決定操作時に迷う動きが生じていると判定すると、ユーザのレリーズ操作の有無に拘わらず、自動的に被写体を連写する。これにより、ユーザが撮像部の構図決定操作時に迷う動きをしても、確実に被写体を撮像することができる。撮像部と確認部とが分離した状態では、ユーザは構図決定のための操作時に何度も被写体を探すように迷う動きで撮像部を動かすことがあり、折角希望する構図が得られたとしてもそのタイミングでレリーズ操作を行うことができないことがある。この場合でも、本実施の形態においては、確実に撮影が行われるので、シャッタチャンスを逃すことなく希望する構図の静止画像を得ることができる。

（第２の実施の形態）
図４は本発明の第２の実施の形態を示すブロック図であり、撮像部としてレンズ型カメラを採用し、確認部としてスマートフォンを採用した例を示している。図５は図４の外観を示す説明図である。なお、撮像部及び確認部は、それぞれ撮像機能と表示機能とを有していればよく、撮像部及び確認部の両方をスマートフォン、或いはタブレットＰＣや携帯電話等によって構成してもよい。

図４において、図１の確認部２０に相当するスマートフォン６１にはカメラ用通信部６２が設けられ、図１の撮像部１０に相当するレンズ型カメラ５１には通信部５５が設けられており、スマートフォン６１とレンズ型カメラ５１とは、これらの通信部６２，５５を介して相互に通信可能に構成されている。

図５に示すように、スマートフォン６１の筐体６１ａには取り付け器具７１が着脱自在に取り付けられるようになっており、取り付け器具７１にはレンズ型カメラ５１を取り付けるための取付部７２が設けられている。レンズ型カメラ５１は基端側に取付部５１ｂが設けられており、この取付部５１ｂを取り付け器具７１の取付部７２に、嵌込み又はねじ込み等によって取り付け可能に構成されている。

レンズ型カメラ５１には、光学系５２ａを有する撮像部５２が設けられている。撮像部５２にはＣＣＤやＣＭＯＳセンサ等によって構成された図示しない撮像素子が設けられており、光学系５２ａによって被写体像が撮像素子の撮像面に導かれるようになっている。光学系５２ａは、鏡筒５１ａ内に収納されており、鏡筒５１ａ内にはピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等が設けられている。また、光学系５２ａは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。制御部５３は光学系５２ａの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。

レンズ型カメラ５１には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、操作リング５４ａ等の操作部５４が設けられている。制御部５３は、操作部５４に対するユーザ操作を検出して検出結果に基づく制御を行う。制御部５３は、ＣＰＵ等のプロセッサによって構成されており、操作部５４に対するユーザ操作と後述するスマートフォン６１からの信号とに基づいて、レンズ型カメラ５１の各部を制御する。

撮影制御部５３ａは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、光学系５２ａのフォーカス、ズーム及び絞りを駆動制御する。また、撮影制御部５３ａは、撮像素子に駆動信号を供給して、被写体の撮像を制御する。

画像処理部５３ｂは、撮像素子からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部５６に与えて記録させることができる。記録部５６としては例えばＩＣメモリを採用することができる。また、画像処理部５３ｂは、撮像画像を通信部５５を介してスマートフォン６１に転送することができるようになっている。

通信部５５は、スマートフォン６１に設けられたカメラ用通信部６２との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、ＵＳＢ（Universal Serial Bus）ケーブルやＷｉｆｉ（Wireless Fidelity）等の無線ＬＡＮの伝送路等を採用することができるようになっている。制御部５３は、スマートフォン６１との間で通信が確立すると、スマートフォン６１の制御部６５に従って撮影が制御されると共に、撮像画像及びレンズに関する情報をスマートフォン６１に転送することができるようになっている。

本実施の形態においては、レンズ型カメラ５１には動き判定部５７が設けられている。動き判定部５７は、３軸加速度センサやジャイロセンサ等によって構成されており、レンズ型カメラ５１の動きを判定して判定結果を制御部５３に与える。なお、動き判定部５７は、地磁気センサを併用してもよい。なお、動き判定部５７は、撮像部５２によって得た撮像画像の動きを検出して、レンズ型カメラ５１の動きを判定するものであってもよい。

スマートフォン６１は、内蔵カメラ部６３を有している。内蔵カメラ部６３は、ＣＣＤやＣＭＯＳセンサ等によって構成された図示しない２つの撮像素子を有しており、これらの２つの撮像素子によって外側撮像部及び内側撮像部が構成される。外側撮像部はスマートフォン６１の筐体６１ａの前面に設けられたレンズ６３ａ（図５参照）を介して入射した被写体の光学像が一方の撮像素子の撮像面に導かれて、被写体を撮像する。内側撮像部は、スマートフォン６１の筐体６１ａの操作面に設けられた図示しないレンズを介して入射した撮影者自身の光学像が他方の撮像素子の撮像面に導かれて、撮影者自身を撮像する。

スマートフォン６１の制御部６５は、例えばＣＰＵ等のプロセッサによって構成されてスマートフォン６１の各部を制御する。制御部６５は、内蔵カメラ部６３を制御すると共に、レンズ型カメラ５１の撮像部５２を駆動するための信号を出力する。制御部６５は内蔵カメラ部６３からの撮像画像が与えられると共に、レンズ型カメラ５１からの撮像画像を受信する。制御部６５は、内蔵カメラ部６３からの撮像画像及び受信した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

スマートフォン６１には、操作部６６も配設されている。操作部６６は、スマートフォン６１に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部６５に出力するようになっている。制御部６５は、操作信号に基づいて、各部を制御する。

制御部６５は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、制御部６５は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部６４に与えて記録させることができる。記録部６４としては、例えばＩＣメモリ等の各種記録媒体を採用することができ、記録部６４は記録媒体に画像情報及び音声情報等を記録可能である。

表示制御部６７は表示に関する各種処理を実行する。表示制御部６７は、制御部６５から信号処理後の撮影画像が与えられて、表示部６８に与えることができる。表示部６８は、ＬＣＤ等の表示画面を有しており、表示制御部６７から与えられた画像を表示する。また、表示制御部６７は、各種メニュー表示等を表示部６８の表示画面に表示させることもできるようになっている。制御部６５は、記録部６４に記録されている撮像画像を読み出して伸張処理することができる。表示制御部６７は伸張処理された撮像画像を表示部６８に与えることで、記録画像の再生が可能である。

表示部６８の表示画面上には、操作部６６として図示しないタッチパネルも設けられている。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部６５に供給される。これにより、制御部６５は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部６８は、スマートフォン６１の例えば操作面の略全域を占めるように配設されており、ユーザは、レンズ型カメラ５１による撮影時に表示部６８の表示画面上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。

また、本実施の形態においては、スマートフォン６１は、動き判定部６９を備えている。動き判定部６９は、３軸加速度センサやジャイロセンサ等によって構成されており、スマートフォン６１の動きを判定して判定結果を制御部６５に与える。なお、動き判定部６９は、地磁気センサを併用してもよい。なお、動き判定部６９は、内蔵カメラ部６３によって得た撮像画像の動きを検出して、スマートフォン６１の動きを判定するものであってもよい。

制御部５３，６５は、動き判定部６９からの動き判定結果及びカメラ用通信部６２を介してレンズ型カメラ５１から受信したレンズ型カメラ５１の動き判定結果の情報に基づいて、レンズ型カメラ５１とスマートフォン６１とが連結されているか分離されているかを判定することができる。また、制御部５３，６５は、レンズ型カメラ５１の動き判定部５７の動き判定結果に基づいて、構図決定操作時にレンズ型カメラ５１に迷う動きが生じているか否かを判定することができる。制御部６５は、レンズ型カメラ５１に迷う動きが生じたと判定した場合には、ユーザのレリーズ操作の有無に拘わらず、レンズ型カメラ５１に連写を指示するようになっている。また、制御部５３は、制御部６５から連写指示があった場合、又は、レンズ型カメラ５１に迷う動きが生じたと判定した場合には、ユーザのレリーズ操作の有無に拘わらず、撮影制御部５３ａによって連写を行うようになっている。なお、連結判定及び迷う動きの判定は、制御部５３，６５の一方で行うようにしてもよい。

次に、このように構成された実施の形態の動作について図６乃至図１６を参照して説明する。図６はレンズ型カメラ５１におけるカメラ制御とスマートフォン６１の制御とを説明するためのフローチャートである。なお、図６において、レンズ型カメラ５１のカメラ制御フローとスマートフォン６１の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。

レンズ型カメラ５１の制御部５３は、ステップＳ３１において、電源が投入されたか否かを判定する。制御部５３は、電源が投入されると、撮影モードが指定されたか否かを判定する（ステップＳ３２）。撮影モードが指定されている場合には、制御部５３は撮像部５２を制御して被写体を撮像させる。撮像部５２によって得られた撮像画像は制御部５３によって取り込まれてスルー画が得られる（ステップＳ３３）。また、制御部５３は、ステップＳ３４において、動き判定部５７からの動き判定結果を取得する。なお、ステップＳ３４においては、後述する連結判定のためにレンズ型カメラ５１の振動の判定結果も得られる。

一方、スマートフォン６１の制御部６５は、ステップＳ１１において、カメラ連携モードが指定されたか否かを判定する。カメラ連携モードが指定されると、制御部６５はステップＳ１２においてレンズ型カメラ５１と間でカメラ通信を行って、レンズ型カメラ５１からのスルー画の受信要求を発生する。

レンズ型カメラ５１の制御部５３は、スマートフォン６１からのスルー画の要求を受信すると、ステップＳ３５における通信確立の後、スルー画を通信部１５を介してスマートフォン６１に送信する（ステップＳ３６）。なお、このステップＳ３６では、ステップＳ３４において取得した動き判定結果もスマートフォン６１に送信される。スマートフォン６１の制御部６５は、レンズ型カメラ５１からのスルー画を受信し、ステップＳ１４において受信したスルー画を表示制御部６７に与えて表示させる。

次に、制御部６５は、撮影操作の判定のために、スマートフォン６１及びレンズ型カメラ５１が連結されているか否かの判定を行う。例えば、制御部６５は、ステップＳ１５において内蔵カメラ部６３を起動させると共に、動き判定部６９の出力を用いた振動判定を行う。次にステップＳ１６において、制御部６５は内蔵カメラ部６３からの撮像画像中にレンズ型カメラ５１を構成する鏡枠画像が含まれているか否かを検出する。鏡枠画像が含まれている場合には、レンズ型カメラ５１が連結状態であるものと判定して、制御部６５は、操作態様１を設定する（ステップＳ１７）。

図７は内蔵カメラ部６３からの撮像画像の一例を示す説明図である。図７は表示部６８の表示画面６８ａ上に内蔵カメラ部６３によって取得した撮像画像８１が表示されている様子を示している。撮像画像８１の端部には、鏡枠画像８２が含まれる。レンズ型カメラ５１の取付位置及びレンズ６３ａの位置等によっては、内蔵カメラ部６３によってレンズ型カメラ５１の鏡筒５１ａが撮像されることがあり、制御部６５は、撮像画像中に鏡枠画像８２が含まれるか否かを画像処理によって検出し、含まれる場合には、レンズ型カメラ５１がスマートフォン６１に装着（連結）されているものと判定することができる。なお、この判定処理においては、図７の表示を行う必要は無い。

また、制御部６５は、撮像画像に鏡枠画像が含まれていない場合には、内蔵カメラ部６３からの撮像画像だけではレンズ型カメラ５１が連結状態であるか否かを判定できないので、ステップＳ１８において、レンズ型カメラ５１に対して連結判定のための通信を行う。レンズ型カメラ５１も、ステップＳ３７において連結判定のための通信を行う。

図８は図６中のステップＳ３７におけるレンズ型カメラ５１の連結判定通信の具体的な動作フローの一例を示すフローチャートである。また、図９は連結判定の通信によって得られた情報を用いた制御部６５の連結判定フローを示すフローチャートである。

レンズ型カメラ５１の制御部５３は、図８のステップＳ５１において連結判定通信の要求が生じたか否かを判定し、ステップＳ５２においてブレパターンの要求であるか否かを判定する。制御部５３は、ブレパターンの要求が生じているものと判定した場合には、動き判定部５７の出力に基づいて、レンズ型カメラ５１の振動の情報であるブレパターンの情報を送信する（ステップＳ５３）。

一方、スマートフォン６１の制御部６５は、図９のステップＳ６１において、レンズ型カメラ５１とのカメラ通信の有無を判定し、レンズ型カメラ５１からのブレパターンの情報を受信する。制御部６５は、ステップＳ１５において求めたスマートフォン６１の振動判定結果（ブレパターン）と受信したブレパターンとの類似判定を行い、類似していると判定した場合は処理をステップＳ６４に移行し、類似していないと判定した場合には処理をステップＳ６３に移行する。

図１０はブレパターンの類似判定を説明するための説明図である。図１０（ａ）はレンズ型カメラ５１のブレパターンを示し、図１０（ｂ）はスマートフォン６１のブレパターンを示している。制御部６５は、例えば、図１０のタイミングＴ１，Ｔ２，…毎に各ブレパターンの値の変化を求める。制御部６５は、変化が類似しているか否かを判定する。制御部６５は、両方のブレパターンの変化が類似している場合には、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結しているものと判定する（ステップＳ６４）。また、制御部６５は、両方のブレパターンの変化が類似していない場合には、処理をステップＳ６３に移行する。制御部６５は、ステップＳ６３において、レンズ型カメラ５１における撮像画像の画像特徴の送信を要求する。

レンズ型カメラ５１の制御部５３は、図８のステップＳ５４において画像特徴の要求が発生したか否かを判定する。制御部５３は、画像特徴の要求が発生すると、ステップＳ５５において画像特徴の情報をスマートフォン６１に送信する。

制御部６５は、レンズ型カメラ５１からの画像特徴の情報を受信すると、当該画像特徴の情報と、内蔵カメラ部６３によって取得した撮像画像から得た画像特徴の情報との類似を判定する。制御部６５は、これらの画像特徴の情報が類似している場合には、レンズ型カメラ５１と内蔵カメラ部６３による視野が類似しており、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結しているものと判定する（ステップＳ６４）。なお、制御部６５は、ブレパターンに類似がなく、画像特徴にも類似がないと判定した場合には、レンズ型カメラ５１がスマートフォン６１の筐体６１ａに連結していないものと判定する。

制御部６５は、図６のステップＳ１９において連結判定した場合には、処理をステップＳ１７に移行して操作態様１を設定し、連結判定しなかった場合には、処理をステップＳ２０に移行する。図６のステップＳ１７における操作態様１においては、例えば、図３（ａ）に示す表示及び操作制御が行われる。一方、ステップＳ２０においては、レンズ型カメラ５１及びスマートフォン６１の動きを反映させた撮影制御が行われる。

図１１は図６中のステップＳ２０における動き反映撮影制御の動作を示すフローチャートである。また、図１２は図６中のステップＳ４０における動き反映撮影制御の動作を示すフローチャートである。なお、図１１及び図１２の例では、迷う動きの判定はレンズ型カメラ５１の制御部５３のみにおいて行う例を示しているが、スマートフォン６１の制御部６５において判定してもよい。また、図１３及び図１４は図１１に対応した撮影制御を説明するための説明図であり、図１５は図１２に対応した撮影制御を説明するための説明図である。

近年、カメラの自動制御化が進み、構図以外の露出やピントはカメラまかせでよい。従って、ある程度、構図などが決まった後であれば、レンズ型カメラ５１及びスマートフォン６１の動きによって、各種画像効果についての制御を行うように設定してもよい。図１１はこのように動きによる制御を画処理に用いる場合の動作フローの一例を示している。

レンズ型カメラ５１は、スマートフォン６１から分離しての利用が可能であるので、構図決定のためにレンズ型カメラ５１に合わせて撮影者が動かなくても良いというメリットがある。写真撮影では、撮影範囲内において、どの被写体をどの大きさにどの位置に配置するかは重要である。レンズ型カメラ５１で様々な角度から被写体を狙っても、スマートフォン６１を目の前の保持していれば効果確認が可能である。このため、撮影シーンによっては、撮像部とその撮像画像を観察する観察部を分離して利用する利点が極めて大きいことがある。例えば、料理を撮影する場合等には、撮影者の位置が限定されることがあり、分離状態での利用は極めて有効である。図１３はこのような料理の撮影の例を示すものである。なお、図１３では手やレンズ型カメラ５１、スマートフォン６１等を２重に記載して、これらが動いている様子を示している。

制御部６５は、図１１のステップＳ７１において構図が確定したか否かを判定する。例えば、制御部６５は、レンズ型カメラ５１によるスルー画が安定していて、且つスマートフォン６１の表示画面６８ａの向きが一定である場合等には、既に構図が確定しているものと判定する。また例えば、制御部６５は、レンズ型カメラ５１の動き判定部５７の動き判定結果に基づいてレンズ型カメラ５１の動きが停止して所定の時間経過したことによって構図が確定したものと判定してもよい。

図１３（ａ）は構図を決定する様子を示している。図１３の例では、テーブル９１上に器９２が置かれ、器９２上には魚の料理９３が載置されている。ユーザ９４は右手９５Ｒでレンズ型カメラ５１を把持し、左手９５Ｌでスマートフォン６１を把持している。ユーザ９４は、レンズ型カメラ５１を構えた右手９５Ｒを例えば矢印に示すように移動させながら、構図を決定する。ユーザ９４は、スマートフォン６１の表示画面６８ａに表示されたスルー画を確認することができる。ユーザ９４は、スルー画を確認しながら右手９５Ｒを適宜移動させて構図を決める。

図１４（ａ）は構図確定時においてスマートフォン６１の表示部６８の表示画面６８ａ上に表示されるスルー画を示している。図１４（ａ）に示すように、表示画面６８ａ上にはスルー画の表示領域１０１が設けられており、器９２に対応する画像９２ａ及び魚の料理９３に対応する画像９３ａが表示されている。

図１１のフローは、図１４（ａ）に示す撮像画像について、レンズ型カメラ５１を停止させた状態でスマートフォン６１を移動させる操作によって、図１４（ｅ）に示すように、料理の画像９３ａの周囲をぼかす画像加工を行うためのものである。
つまり、この発明は、撮像部と確認部のそれぞれの動き情報によって「構図決定操作」（迷い動作をここに含めても良い）を判定し、このような「構図決定操作」が判定された後で、撮像部が固定された後は、ユーザが次の操作がしたくなるであろうことを想定し、動きデータの解析から、ユーザの意図をくみ取って、表示側の動きをユーザの意図の入力情報として利用することも可能である。

制御部６５は、画処理の範囲、例えばぼかし加工の範囲を決定するために、ステップＳ７２において軌跡判定用位置を図示しないメモリに記憶する。ユーザは、画処理（ぼかし加工）の範囲を決定するために、構図確定後にスマートフォン６１の筐体６１ａを回転させる。制御部６５は、スマートフォン６１の移動の軌跡を求めて、ユーザ９４の回転操作が元の位置に戻ったか否か、軌跡が閉じたか否かを判定する。制御部６５は、ユーザ９４の回転操作が元の位置に戻ったものと判定すると、次のステップＳ７４において、判定した軌跡が円形、楕円形、多角形等の領域を示すものであるか、直線的な移動を示すものであるかを判定する。

制御部６５は、ユーザによるスマートフォン６１の移動操作が直線的の動きであった場合には、処理をステップＳ７５に移行して、移動方向に対応して予め設定されている処理をレンズ型カメラ５１に要求する。この要求は、通信部６２，６５を介してレンズ型カメラ５１の制御部５３に伝送される。レンズ型カメラ５１の制御部５３は、図６のステップＳ３８において画処理要求が発生したことを検出すると、当該要求に応じた画処理を行う（ステップＳ３９）。

なお、図１１は、レンズ型カメラ５１において各種画処理を実行する例について示しているが、各画処理の全て又は一部をスマートフォン６１において実行するようにしてもよいことは明らかである。

制御部６５は、ユーザによるスマートフォン６１の移動操作が領域を指定するものであった場合には、処理をステップＳ７６に移行して、領域の指定が１回目であるか否かを判定する。制御部６５は、１回目の領域指定時には、ステップＳ７７において、軌跡の形状に対応した画処理をレンズ型カメラ５１に要求する。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、図１４（ｂ）に示す画処理後の画像１０３が表示される。

例えば、制御部６５は、軌跡の形状を反映して、その外側や内側を画処理の対象とする。なお、制御部６５は、軌跡の法線方向に対して画処理に変化を付けてもよい。図１４（ｂ）の例では、ユーザがスマートフォン６１を楕円状に回転操作することによって器の画像９２ａの周囲が、塗り潰しによって示すぼかし加工が施されていることを示している。

制御部６５は、ユーザがスマートフォン６１を移動させて形成する実際の軌跡に相似する形状で画処理を行う。実際には、ユーザは自分がどのくらいのサイズの軌跡を形成すれば、希望するサイズの画処理が行われるかを予め知ることはできないので、ユーザは表示画面６８ａ上の画像を見ながら回転移動を繰り返して希望する画処理の領域を決定することが考えられる。

制御部６５は、ステップＳ７６において２回目以上の領域指定であると判定した場合には、ステップＳ７８において領域が変化したか否かを判定する。領域が変化した場合には、制御部６５は、ステップＳ７９において、新たな軌跡の形状、サイズに対応した領域での画処理をレンズ型カメラ５１に要求する。例えば、画処理の境界の位置、サイズ、形状等を変化させた要求を発生する。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、新たな領域に基づく修正された画処理後の画像１０３が表示される。

なお、制御部６５は、ステップＳ７８において、ユーザの移動操作による領域に変化がない場合には、ステップＳ８０においてユーザの移動操作が画処理の程度の変更要求であるものと判定して、領域を指定した回数に応じた画処理の要求をレンズ型カメラ５１に送信する。例えば、ユーザが領域を指定する操作を行った回数に応じて、ぼかし加工の濃度を濃くする等の制御が考えられる。レンズ型カメラ５１は要求された画処理を実行し、実行結果の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上において、画処理の程度が変更された画処理後の画像１０３が表示される。

なお、図１１では、ユーザの回転操作による軌跡に基づいて画処理の領域を決定する例を示したが、ユーザの手の震え等によってユーザが希望する画処理の領域を設定することができない場合等を考慮して、ユーザの特定の動きに応じて特定の画処理の領域が決定されるようにしてもよい。

制御部６５は、ステップＳ８１においてリセットＳＷを表示する。図１４（ｂ）にはリセットＳＷ１０４が表示されている様子を示している。制御部６５は、図６のステップＳ２５においてリセットＳＷの操作の有無を判定しており、ユーザがリセットＳＷ１０４の位置をタッチした場合には、検出した軌跡をリセットすると共に、画処理をリセットする要求をレンズ型カメラ５１に送信する（ステップＳ２６）。レンズ型カメラ５１はステップＳ３８においてリセット処理の要求を受信すると、リセットを実行し画処理前の元の画像をスマートフォン６１に転送する。こうして、スマートフォン６１の表示画面６８ａ上には、画処理前の画像が表示される。制御部６５は、スマートフォン６１の動きが停止すると、ステップＳ８２において移動が停止したことを示す通知をスマートフォン６１に送信する。

なお、制御部６５は、ステップＳ７１において構図が確定していないと判定した場合及びステップＳ７３において軌跡が閉じていないと判定した場合には、ステップＳ８３において、レンズ型カメラ５１からのリセット表示要求を受け付ける。レンズ型カメラ５１の制御部５３においても、スマートフォン６１に制御されることなく、ユーザの動きに応じた画処理を独自に実行することが可能である。この場合には、スマートフォン６１側においてリセット要求が受け付けなければ画処理のリセットができなくなる。そこで、ステップＳ８３において、リセット表示要求を受け付けるようになっている。リセット表示要求が発生すると、制御部６５は、ステップＳ８１においてリセットＳＷ１０４を表示する。

レンズ型カメラ５１の制御部５３は、レンズ型カメラ５１の操作部５４による操作によって、撮影が指示されたか否かについても判定する（ステップＳ４３）。操作部５４によって撮影が指示されると、ステップＳ４４において撮影を行い、撮像画像を例えば記録部５６に記録させる（ステップＳ４５）。

また、レンズ型カメラ５１の制御部５３は、スマートフォン６１に制御されることなく独自に画処理等の撮影制御が可能である。制御部５３は、ステップＳ３８において画処理要求を受信していない場合には、ステップＳ４０において動き反映撮影制御を行う。

図１２はこのステップＳ４０の処理を示しており、動き反映撮影制御として、迷う動きを判定して連写を行う処理を含んだフローを示している。

制御部５３は、まず、図１２のステップＳ９１において構図が確定したか否かを判定する。例えば、制御部５３は、スマートフォン６１から構図決定処理が終了したことを示す制御信号が与えられて、構図決定処理の終了を判定してもよい。なお、スマートフォン６１の制御部６５は、レンズ型カメラ５１の動き判定部５７の動き判定結果に基づいて、レンズ型カメラ５１の動きが構図決定のための動きであるか、構図確定後の操作であるかを判定することができる。例えば、構図決定時の動きは比較的低速であり、構図確定後の撮影操作のための動きは比較的高速であることによって、構図決定時の動きと構図確定後の動きとの判定が可能である。また、例えば、制御部５３は、スマートフォン６１の動きが停止していると共に、レンズ型カメラ５１に動きがある場合には、まだ構図決定操作が行われている判定してもよい。

制御部５３は、構図が確定したと判定した場合には、処理をステップＳ９８に移行して、動き判定部５７，６７の動き判定結果に応じた画処理を実行する。例えば、制御部５３は図１１と同様の手法によって画処理を行ってもよい。制御部５３はステップＳ９９においてリセットＳＷの表示要求をスマートフォン６１に送信する。スマートフォン６１はこのリセットＳＷの表示要求を受信すると、表示画面６８ａ上にリセットＳＷを表示し、ユーザのリセット操作を受け付ける。これにより、レンズ型カメラ５１において独自に実施した画処理を、スマートフォン６１においてリセットすることが可能である。

レンズ型カメラ５１の制御部５３は、構図が確定していないと判定した場合には、ステップＳ９２において、迷う動きの判定を行うために、軌跡判定用位置を図示しないメモリに記憶する。次に、制御部５３は、動き判定部５７の判定結果に基づいてレンズ型カメラ５１の移動の軌跡を求め、ユーザ９４によるレンズ型カメラ５１の移動操作が元の位置に戻ったか否か、軌跡が閉じたか否かを判定する（ステップＳ９３）。制御部５３は、ユーザ９４の移動操作が元の位置に戻ったものと判定すると、次のステップＳ９４において、判定した軌跡が円形、楕円形、多角形等の領域を示すものであるか、直線的な移動を示すものであるかを判定する。

制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が直線的の動きであった場合には、処理をステップＳ９５に移行して、移動方向に対応して予め設定されている処理、例えば移動方向に応じた露出補正を行う。また、制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が前後方向への繰り返し移動であると判定した場合には、処理をステップＳ９７に移行して、ユーザが速く動かした方向に応じてピント位置を変更する制御を行う。制御部５３は、ステップＳ９５，Ｓ９７による撮像処理後の画像をスマートフォン６１に転送する。

制御部５３は、ユーザによるレンズ型カメラ５１の移動操作が領域を指定するものであった場合には、処理をステップＳ９６に移行して、撮影制御部５３ａを制御して連写処理を行う。例えば、図１３の料理の撮影の例のように、スマートフォン６１と分離したレンズ型カメラ５１で様々な角度から被写体を狙う場合、ユーザ９４は表示画面６８ａを見ることになり、ユーザ９４の見る方向と、構えたレンズ型カメラ５１の撮影方向とが異なる。この場合には、ユーザ９４は、レンズ型カメラ５１をどのように動かせば希望する構図が得られるかを直感的には把握しづらい。

図１５（ａ）は図１３（ａ）の状態、即ち、構図決定操作時にスマートフォン６１の表示画面６８ａ上に表示されるスルー画を示している。図１５（ａ）は器の画像９２ａ及び魚の料理の画像９３ａを多重に記載して、画像が矢印１０２の方向に動いている様子を示している。ユーザ９４は、表示画面６８ａ上の画像を見ながら構図を決定しようとするため、構図を決定するためのレンズ型カメラ５１の移動に迷いが生じる。その結果、レンズ型カメラ５１は、例えば図１５（ｂ）に示すように、矢印１０２の方向で示す円弧状に移動しながら、元の位置に戻る軌跡１０５を辿る。

制御部５３は、レンズ型カメラ５１の移動が領域を形成する軌跡を辿るものと判定した場合には、ユーザが迷う動きをしたものと判定して、ユーザ９４のレリーズ操作の有無に拘わらず連写を行う。これにより、希望する構図のタイミングで撮影し損なうことが防止されて、確実な撮影が可能となる。図１５（ｃ），（ｄ）は、連写によって得られた撮像画像１０６，１０７を示している。ユーザが迷う動きをしていることから、撮像画像１０６，１０７中の被写体の位置は変化している
なお、制御部５３は、レンズ型カメラ５１の移動が完全に閉じる領域を形成する場合だけでなく、閉じそうな軌跡を辿る場合にも迷う動きと判定してもよい。撮影制御部５３ａの連写制御によって、連続的に撮影が行われて連続的に撮像画像が得られる。

図６のステップＳ２１において、制御部６５は、ユーザによって撮影の指示が行われたか否かを判定する。制御部６５は、撮影操作が行われた場合には、表示部６８において表示している画像の撮影をレンズ型カメラ５１に要求する（ステップＳ２２）。レンズ型カメラ５１の制御部５３は、ステップＳ４１において撮影を指示する通信が行われたか否かを判定しており、スマートフォン６１の制御部６５からの指示に応じて、撮像画像又は画処理後の画像をスマートフォン６１に転送する（ステップＳ４２）。

制御部６５は、レンズ型カメラ５１からの撮像画像が、ユーザのレリーズ操作に応じたものである場合には、ステップＳ２４において、レンズ型カメラ５１からの撮像画像を記録部６４に与えて記録する。また、制御部６５は、レンズ型カメラ５１からの撮像画像が図１２のステップＳ９６の連写によって得られた複数の画像である場合には、ステップＳ２３においてこれらの連写画像の表示処理を行う。

図１６は図６中のステップＳ２３における表示処理を説明するための説明図である。連写処理においては、上述したように、ユーザは迷う動きでレンズ型カメラ５１を移動させており、連続的な撮像画像中の被写体の位置は変化している。図１６はスマートフォン６１の表示画面６８ａ上に連写による一連の４つの撮像画像１１０ａ〜１１０ｄが縮小表示されていることを示している。各撮像画像１１０ａ〜１１０ｄ中の被写体の位置は相互に異なる。制御部６５は、ステップＳ２４において、これらの撮像画像１１０ａ〜１１０ｄの全てを記録部６４に与えて記録してもよい。また、制御部６５は、ステップＳ２４において、これらの撮像画像１１０ａ〜１１０ｄのうちユーザが選択した画像を記録部６４に与えて記録してもよい。こうして、レンズ型カメラ５１に迷う動きが生じた場合には、ユーザのレリーズ操作に拘わらず撮影が行われて、確実に被写体の記録が行われる。
このように本実施の形態においては、レンズ型カメラとスマートフォンが分離状態であるか否かを判定し、分離状態の場合にはレンズ型カメラの動きが領域を閉じる軌跡を辿る等の迷う動きであるか否かを判定して、迷う動きと判定した場合には、ユーザのレリーズ操作に拘わらず連写を行う。従って、ユーザが画角を決定するためにレンズ型カメラを迷う動きで移動させた場合でも、確実に撮影が行われる。しかも、連写を行うことから、ユーザが迷う動きを続けている場合でも、被写体を確実に捉えながら、ユーザの意図を反映した撮影が行われる可能性が高い。これにより、撮影チャンスを逃すことなく、ユーザが希望する構図での撮影が行われる。
つまり、本発明では対象物を撮像する撮像部と上記撮像部と別体となった、上記撮像結果を確認する確認部と、上記撮像部と上記確認部のそれぞれの動き情報によって構図決定操作を判定する構図決定操作判定部（これらは動き判定のプログラムで構成される）と、上記構図決定操作判定後に上記撮像部が略固定され、上記確認部の特定の動きを撮像パラメータ変更操作として判定する（これらも動き判定のプログラムで構成される）操作判定部と、からなることを特徴とする撮像装置が提供されるが、構図決定や撮像パラメータ制御（連写や画像処理を含む）がシームレスにでき、ユーザの思い通りの観察や撮影が簡単にできる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。もちろん、色々なものを様々な角度から観察する観察装置や検査装置に使える。検査、観察時には、対象物によっては複数の機器を機械的に接続したり、分離したり、把持の方法を変えたり出来る方が便利であり、本発明は広い分野で活用が可能である。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮像システム及び撮像方法を実現することができる。

１０…撮像部、１１，２１…通信部、１２，２２…撮像制御部、１３，２６…動き判定部、２０…撮像表示装置、２３…表示部、２４…操作部、２５…制御部、２６…動き判定部。

Claims (7)

1. 撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムにおいて、
   上記撮像部の動きを判定する第１の動き判定部と、
   上記撮像部と上記確認部とが分離されている場合には、上記第１の動き判定部の判定結果に基づいて上記撮像部に連写を指示する制御部と
   を具備したことを特徴とする撮像システム。
2. 上記確認部の動きを判定する第２の動き判定部を具備し、
   上記制御部は、上記第１及び第２の動き判定部の判定結果に基づいて、上記撮像部の動きが構図の決定動作中における動きであるか否かを判定し、上記構図の決定動作中における上記第１の動き判定部の判定結果に基づいて上記撮像部に連写を指示する
   ことを特徴とする請求項１に記載の撮像システム。
3. 上記制御部は、上記第１の動き判定部の判定結果により上記撮像部が所定期間以上継続して移動したことが示された場合に上記撮像部に連写を指示する
   ことを特徴とする請求項１又は２に記載の撮像システム。
4. 上記第１の動き判定部は、上記撮像部の撮像によって得た撮像画像の動きによって上記撮像部の動きを判定することが可能であり、
   上記制御部は、上記第１の動き判定部の判定結果により上記撮像画像中の被写体の画像位置が所定期間以上継続して移動することが示された場合に上記撮像部に連写を指示する
   ことを特徴とする請求項１又は２に記載の撮像システム。
5. 上記制御部は、上記第１の動き判定結果によって上記撮像部の動きが所定の領域を形成する動きであることが示された場合に上記撮像部に連写を指示する
   ことを特徴とする請求項１又は２に記載の撮像システム。
6. 上記確認部は、上記連写によって得られた一連の撮像画像を表示可能である
   ことを特徴とする請求項１乃至５のいずれか１つに記載の撮像システム。
7. 撮像部と上記撮像部からの撮像画像を表示する確認部とが分離可能な撮像システムの撮像方法において、
   上記撮像部の動きを判定する第１の動き判定ステップと、
   上記撮像部と上記確認部とが分離されている場合には、上記第１の動き判定部の判定結果に基づいて上記撮像部に連写を指示する制御ステップと
   を具備したことを特徴とする撮像方法。