JP4949709B2 - カメラ、カメラの決定方法、カメラの制御方法 - Google Patents

Description

この発明は、カメラ、特に鑑賞に適する画像撮影機能を有するカメラ等に関する。

通常のカメラでは１つの画面を記録するだけであるが、利便性や動画静止画を同時記録するために、異なる画角や方向の画像を表示させたり記録するカメラが、以下のように提案されている。

まず、動画静止画で画角の変化が起きないようにするカメラが提案されている（特許文献１）。このカメラでは、動画に必要な画素数より多い画素数を備える撮像素子が搭載され、動画撮影時にはレンズをワイドにして全画素の一部の画素を切出して記録する。動画でモニタに表示される以上の画素数を記録しても無駄で、かつ高速での多画素記録が容易でないからである。そして静止画撮影時には、レンズをテレにして撮像素子の全画像を記録する。プリントにも耐えるようにするためである。これにより動画静止画で撮影される画角を統一する。

また、１つの画像を記録するだけでなく、２つの光学系を備え、それぞれの光学系から得られた画像を記録するカメラが提案されている。いろいろな状況において撮影者が被写体像を確認しながら撮影できるようにするためである（特許文献２）。

また、撮影対象の動きを予測して撮影できるようにするために、表示部に広い画角の画像を表示させ、記録にはそれよりも狭い画像を記録するカメラが提案されている（特許文献３）。記録エリアよりも広いエリアが表示され、これを見ながら記録するエリアを決めることができるので、動きの大きい撮影対象にも対応できる。

また、動画撮影中に静止画撮影できるカメラも提案されている（特許文献４）。動画像と静止画像を交互に読み出す。動画像は間引き読出しモードで読み出し、静止画像は全画素読出しモードで読み出す。１台のカメラで、同一画角の動画静止画が同時に記録出来る。

また、視野が異なる複数の画像を手軽に撮影することが可能な撮像装置が提案されている（特許文献５）。ここでは、ＣＣＤ撮像素子の交互に異なるエリアから信号を読み出して、２つの動画像を作成している。
特開平１１−１８７２９９号公報 特開２００３−２９８８８４号公報 特開２００４−３４３３６３号公報 特開２００５−０５７３７８号公報 特開２００６−０４２３９９号公報

運動会やコンサート各種イベントあるいは旅行先の風景等を見る際には、人は注視点や視線の向きを無意識に変化させながら鑑賞している。つまり、全体を見たり、特定の一部を見たりして、ずっと同じ範囲を見続けることはしない。そして、カメラ撮影時にも、機械的なズームや方向指定によって、全体の撮影と、一部をズームしての撮影を適当に切換えながら撮影する。しかし、撮影の機会は一度だけなので、全体撮影または部分撮影それぞれのシャッターチャンスを逃すことも、少なくない。また、撮影後に鑑賞する際には、撮影者ではない者にはとっての興味あるポイントは、当然撮影者と違うので、撮影者ではない者には十分に満足できる画像とは言えないことが多い。

上記特許文献５に開示の撮像装置によれば、異なる画角での画像を同時に撮影したいという要望がかなえられ、かつ２台のカメラを用意するという手間もいらない。

しかし、２つの異なる画角の映像を最初から最後まで並行して撮影すると、メモリの消費量も倍近くなるという問題も出る。そして、単純に２倍の量になるわけだから、後で再生する際にも情報量が多すぎて手に負えなくなってしまう。

本発明は上記課題に鑑み、１つのシーンを異なる画角で簡単に撮影するカメラを提供することを目的とする。

上記目的を達成するために、第１の発明によるカメラは、撮像領域全体から指定された領域の画像を読み出す撮像部と、上記撮像領域全体から操作により指示された範囲を上記指定された領域の画像として読み出すよう上記撮像部を制御し、上記撮像部によって読み出された画像をメモリに記録させて、動画像の撮影を行うよう制御する制御部を備え、
上記制御部は、上記撮像領域全体の一部分を上記指定された領域の画像として読み出している場合に、当該指定された領域を変更する操作があったときには、当該変更操作前の指定された領域と当該変更操作後の指定された領域の両方を含む領域の画像を所定時間読み出してから、当該変更操作後の指定された領域の画像を読み出すように上記撮像部を制御するものである。

第２の発明によるカメラは、第１の発明によるカメラにおいて、上記制御部は、上記変更操作前の指定された領域と変更操作後の指定された領域の両方を含む領域の画像として、上記撮像領域全体の画像を読み出すように上記撮像部を制御するものである。

本発明によれば、１つのシーンを異なる画角で簡単に撮影するカメラを提供することができる。

以下本発明を実施するための最良の形態を図面を参照して説明する。
（第１実施形態）
図１から図８を用いて、第１実施形態を説明する。図１は、本発明が適用されるデジタルカメラ１の全体ブロック図である。
カメラ１には、撮影レンズ２、撮像素子３、第１ＡＦＥ（アナログフロントエンド）４ｗ、第２ＡＦＥ（アナログフロントエンド）４ｔ、信号処理部５、ＲＡＭ６、ＲＯＭ７やメモリ９が設けられる。撮影レンズ２は、入射した被写体２０の像を撮像素子３に結像する。撮像素子３は、ＣＣＤやＣＭＯＳからなり、結像された被写体像を電気信号に変換する。第１ＡＦＥ４ｗ、第２ＡＦＥ４ｔは、撮像素子３からの画像信号を読み出し、読み出した画像信号にＡＧＣ処理やＣＤＳ処理やＡＤ変換等してデジタル画像データとして出力する。第１ＡＦＥ４ｗは第１撮像部、第２ＡＦＥ４ｔが第２撮像部とも呼び、その詳細は後述する。

信号処理部５には、圧縮部や伸張部等が設けられ、画像データに対して色補正や信号圧縮、伸張などの処理を行う。圧縮部は、画像データをメモリ９に記録するための例えばＪＰＥＧ圧縮やＭＰＥＧ圧縮を行い、また音声圧縮の機能も有する。伸張部は、圧縮された画像データを元に戻す処理を行う。
信号処理部５内の補助ブロック５ａは補正のかけ方を変更する。ＲＡＭ６は、種々の演算データの一時的な格納や圧縮伸張時の画像データのワークエリアとして使用される。メモリ９は、画像データの保存用メモリで、例えば、フラッシュメモリやハードディスクで構成される。メモリ９に信号処理部５で処理された画像データが記録される。またメモリ９には、送信用メモリ９ａの領域も設けられる。

また、カメラ１には、画像表示用の表示部８、マイク１２、スピーカ１３が設けられる。撮影時には画像確認用として、表示部８に撮像素子３から出力される画像が逐次再生して表示される。また再生時には、メモリ９から読み出され伸張部で伸張された画像が表示部８に表示される。

カメラ１には、ＭＰＵ１０が設けられる。ＭＰＵ１０は、撮影や再生等カメラ１の全体の制御を司る制御部である。上記、第１ＡＦＥ４ｗ、第２ＡＦＥ４ｔ、信号処理部５等はＭＰＵ１０により制御される。

ＭＰＵ１０には、ＲＯＭ７、操作部１６、時計部１４、位置検出部１５が接続される。ＲＯＭ７は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ処理を行う制御用のプログラムが格納される。また、操作部１６は、撮影者の指示をＭＰＵ１０に通知する。操作部１６の代表例としてスイッチ１６ａ、１６ｂ、１６ｃが設けられ、その機能は例えばレリース、モード切替指示、電源のＯＮ／ＯＦＦスイッチである。時計部１４は、撮影日時の記録用や露出時間や動画の撮影時間を記録したり、所定のタイミング間隔を測定するときに用いられる。位置検出部１５は、ＧＰＳセンサーで構成され、撮影した位置を検出して位置データをＭＰＵ１に通知する。検出された撮影位置が画像データに付帯してメモリ９に記録される。

さらに、カメラ１には、無線送信部１１、プリント信号出力部１２が設けられる。無線送信部１１は、プリンタやＰＣ（Personal Computer）に無線で画像データを送信するインターフェース部である。プリント信号出力部１２は、接続されるプリンタに対して、撮影した画像データを出力させるインターフェース部である。例えば、ＵＳＢ（Universal Serial Bus）からなる。

図２は、図１の全体ブロック図の中で、撮影範囲の異なる画像撮影を行う主要ブロックを説明する図である。撮影レンズ２により撮影される基本的な画角で、破線で示される画角が、第１の画角θｗである。この第１の画角θｗに対応する被写体像が撮像素子３に結像される。この第１の画角θｗに対応して撮像素子３で撮影される範囲が、第１撮像範囲３ｗである。一方、第１の画角θｗより狭い画角で、実線で示される画角が第２の画角θｔである。この第２の画角θｔに対応して撮像素子３で撮影される範囲が、第２撮像範囲３ｔである。第２撮像範囲３ｔは第１撮像範囲３ｗより狭い範囲である。

そして、第１ＡＦＥ４ｗが第１撮像範囲３ｗの画素の読出し、ＡＧＣ、Ａ／Ｄ変換等処理を行う。第２ＡＦＥ４ｔが第２撮像範囲３ｔの画素の読出し、ＡＧＣＡ／Ｄ変換等処理を行う。次に、信号処理部５が第１ＡＦＥ４ｗから出力された第１撮像範囲３ｗの画像データと第２ＡＦＥ４ｔから出力された第１撮像範囲３ｔの画像データに対して、γ変換や圧縮等の所定の画像処理を施す。

画像処理された第１撮像範囲３ｗの画像データを、第１画像Ｄｗとしてメモリ９に記録する。また画像処理された第２撮像範囲３ｔの画像データを、第２画像Ｄｔとして補助メモリ９ｂに記録する。これで２つの動画が同時に記録される。なお、第１画像Ｄｗの撮影時にあわせて第２画像Ｄｔの撮影も行うか否かは、ユーザーの選択事項である。そして、撮影の途中で第２画像の撮影を開始したり、停止するのももちろん自由である。その切換えは、操作指示に基づきＭＰＵ１０によって実行させる。
この意味では、ＭＰＵ１０は、複数撮影するか否かの決定部でもある。そして、指示に応じて、表示部８に、第１画像Ｄｗ、第２画像Ｄｔを同時に表示させる。もちろん別々に表示させても良い。

図３は、撮像素子３への露光（積分）とその画像信号の読出しのタイミングを示す図である。
図３（Ａ）は、撮像素子３で電荷の積分をしているタイミングを順次示す。ハイの部分が積分している期間である。図３（Ｂ）は、第１ＡＦＥ４ｗが撮像素子３から、第１撮像範囲３ｗに属する画素の信号（または電荷）を１フレーム分読み出すタイミングを示す。図３（Ｃ）は、同様に第２ＡＦＥ４ｔが第２撮像範囲３ｔに属する画素の信号（または電荷）を１フレーム分読み出すタイミングを示す。なお、「積分」とは、所定時間撮像素子３が入射光をその明るさに応じて、光電流を素子内のキャパシタにためていくことからこう呼ばれる。「蓄積」とも呼ばれる。

撮像素子３で所定時間積分（露光）がなされる（同図（Ａ））。積分時間は、図示なきＡＥ回路で明るさに応じて自動的に設定される。この積分終了後に第１ＡＦＥ４ｗが第１撮像範囲３ｗに属する画素の信号を１フレーム分読み出す（同図（Ｂ））。そしてこの第１撮像範囲３ｗの画素の信号読出し後に、第２ＡＦＥ４ｔが第２撮像範囲３ｔに属する画素の信号を１フレーム分読み出す（同図（Ｃ））。第２撮像範囲３ｔの信号読出し後に次の積分（露光）を行わせる（同図（Ａ））。そしてこの積分後に、第１撮像範囲３ｗ（１フレーム）の読出しおよび第２撮像範囲３ｔ（１フレーム）の読出しを実行させる。そして、この１回積分（露光）２回読み出しの一連の動作を繰り返す。

これで読み出された信号は、図２で説明したように各種処理後に、メモリ９に別々に記録される。第１撮像範囲３ｗの信号は第１画像Ｄｗとして、第２撮像範囲３ｔの信号は第２画像Ｄｔとしてメモリ９に記録される。これにより、画角の異なる２つの動画が同時に記録される。なお、第１撮像範囲３ａと第２撮像範囲３ｂから読み出す画素数を同じ画素数に設定しておくと良い。２つの画像をモニタに表示する際の表示処理等が簡便になるからである。なお、これら一連の制御処理はＭＰＵ１０によって制御される。

図４は、撮影された２つの動画像の再生例を説明する図である。図４（Ａ）は、左側が全体画像である第１画像Ｄｗ、右側が狭い範囲で全体画像の一部の画像である第２画像Ｄｔである。再生時には、表示サイズを変えてもよい。同図（Ａ）は、第１画像Ｄｗと第２画像Ｄｔを同じサイズでの再生を示すが、同図（Ｂ）は、向かって右側の第２画像Ｄｔを第１画像Ｄｗより大きなサイズで表示させたものである。表示サイズの変更処理は指示に応じて信号処理部５で行われる。

図５は、第２撮像範囲３ｔの位置の変更例を示す図である。図２では、第２撮像範囲３ｔである切出しの位置を第１撮像範囲３ｗの中心に位置してさせていたが、これに限られない。ここでは、第２撮像範囲３ｔの位置を図で見て上側にずらした例である。第２撮像範囲３ｔの位置の変更は、第２ＡＦＥ４ｔが、撮像素子３の読み出し範囲を変更することで実現される。

図６は、撮影時にこのように切出し部（第２撮像範囲３ｔ）の位置を変化させる例である。図６は、撮影時のモニター画像で、画面左側が全体画像である第１画像Ｄｗで、右側が切出し画像である第２画像Ｄｔである。第１画像Ｄｗには、全体画像に対する第２撮像範囲３ｔの相対的な位置と範囲を示すカーソル枠８ｃが重ねて表示される。ここでは第２撮像範囲３ｔが第１撮像範囲３ｗの中心ではなく、第１撮像範囲３ｗ左寄りの位置に設定されている。

図７は、撮影の途中で、第２撮像範囲３ｔ（切出し部）を変更する場合の撮影を示す。撮影中に切出し部を急に変えると不自然になるため、切換えの間に全体画像を短時間撮影してから、切出し部を変更するようにする。図７（Ａ）が、切出し部変更前後の撮影画像を示すもニタ画面である。まず変更前の切出し部である切出し部１が第２画像Ｄｔとして記録（撮影）がされる（Ａ−１）。そして、撮影者により切出し変更指示があると、すぐには画面を切換えずに、第２画像Ｄｔとして第１撮像範囲３ｗの画像を短時間、例えば１秒、記録させる（Ａ−２）。つまり第１画像Ｄｗと同じ画像が短時間記録される。その後、変更指示に対応する切出し部２を第２画像Ｄｔとして記録を開始させるようにする（Ａ−３）。以上により、撮影中に切出し部を切換えることによる不自然な動きを防止できる。

図７（Ｂ）は、上記で説明した切出し部(第２画像）変更の際に撮影画像を切換える手順を示すフローチャートである。指示された範囲で第２画像Ｄｔの撮影を行う（ステップＳ５１）。ユーザーによる第２画像（切出し部）の変更指示操作の有無を判断する（ステップＳ５２）。変更操作がなければ（ステップＳ５２ＮＯ）、ステップＳ５７に進み、終了操作を判断する。終了操作があれば（ステップＳ５７ＹＥＳ）、終了処理を行う。終了操作がなければ（ステップＳ５７ＮＯ）、ステップＳ５１に戻る。

一方、変更操作があったと判断するときは（ステップＳ５２ＹＥＳ）、まず、変更前後の２つの第２画像を含むエリアの画像を短時間撮影する。例えば図Ａ−２のように、全体画像である第１画像Ｄｗを撮影しても良い。また、変更前後の画像が含まれればよいので、全体画像より小さいエリアでもよい。また、この小さいエリアを撮影する場合には、第２撮像部で撮影するようにしてもよい。そして所定時間（例えば１秒）このエリアの画像を撮影する。所定時間経過したかを判断して（ステップＳ５４）、所定時間経過したら（ステップＳ５４ＹＥＳ）、撮影領域を第２画像Ｄｔとして新たに変更された領域に切換える。そして、新たな領域の撮影を開始する。また、あわせて第２画像領域を新たな領域への設定変更も行う-（ステップＳ５６）。そして、ステップＳ５１に戻る。

以上により、第２画像の位置を大きく変更したような場合でも、変更前後の画像をいったん撮影するようにするので、初めて見る者でも画面どこからどこへ飛んだか分からなくなるような事がなく、大きな変化に戸惑うことが少なくなる。

図８はカメラ１の撮影再生処理を示すフローチャートの１で、図９はそのフローチャートの２である。この処理は、主にＭＰＵ１０によってプログラムに従って実行される。
まず、設定されている現在のカメラモードを判断する（ステップＳ１）。再生モードに設定されたと判断すると（ステップＳ１ＹＥＳ）、図９のステップＳ３１に進む。ステップＳ３１以降では、ユーザーの画像選択を受け付けるステップを実行する。

一方、再生モードではなく撮影モードに設定されたと判断すると（ステップＳ１ＮＯ）、ステップＳ２以降の撮影処理を実行する。まず時刻の計時を行うため時刻をカウントする（ステップＳ２）。２つの動画撮影時にそれぞれの画像に時刻データを合わせて記録するためである。

まず第１画像Ｄｗをモニタ画像として表示部８に表示させる（ステップＳ３）。第１ＡＦＥ４ｗにより撮像素子３からリアルタイムで画像信号を読出し、信号処理部５で信号処理を行い第１画像Ｄｗを形成させる。形成された第１画像Ｄｗを表示部８に表示させる。

次に、撮影者の指示に応じて第２画像Ｄｔの切出し位置を設定する（ステップＳ４）。図１０は、撮影者による切出し位置設定操作を示す図である。図１０（Ａ）は、カメラ１の背面外観を示す図である。カメラ１の背面左側には表示部８が設けられる。そして背面右側には、ズームレンズ操作ボタン１６−１、撮影範囲設定ボタン１６−２、ＸＹ操作ボタン１６−３が配置される。また、表示部８の画面には、第２画像Ｄｔの範囲を示すカーソル８ｃが表示される。撮影範囲設定ボタン１６−２の押下がされたときに、表示部８にカーソル８ｃを表示させる。そして第２画像Ｄｔの位置は、ＸＹ操作ボタン１６−３の操作で設定される。例えばＸＹ操作ボタン１６−３の一つである左ボタン１６−３Ｌの押下を検出すると、カーソル８ｃを左に所定量移動させる（図（Ｂ））。ズームレンズ操作ボタン１６−１は、通常撮影レンズのズーム制御操作に用いるが、このときは、第２画像８Ｔのサイズの拡大縮小を設定する操作部となる（図（Ｃ））。そして第２画像Ｄｔのサイズと位置が設定された後、再度撮影範囲設定ボタン１６−２の押下を検出すると、その状態での第２画像Ｄｔのサイズと位置を確定する。以上のような操作で第２画像Ｄｔのサイズと位置を確定する。

図８に戻る。切出し位置を設定後、撮影者によるレリース操作を待ち（ステップＳ５）、ステップＳ４を巡回する。レリース操作があったと判断すると（ステップＳ５ＹＥＳ）、次に、ユーザーによる第２画像撮影の指示がされているかを判断する（ステップＳ６）。第２画像撮影の指示がされていなければ（ステップＳ６ＮＯ）、ステップＳ１０にジャンプする。第２画像撮影の指示がされていれば（ステップＳ６ＹＥＳ）、第２ＡＦＥ４ｔによって撮像素子３から第２画像範囲３ｔの画像信号を読出す。第１画像のみの撮影かまたは第１および第２画像の両方の撮影のいずれにするかを、ユーザーの操作に応じて決定する。ＭＰＵ１０が、決定部に該当する。

そして、読み出した画像信号からＮ個の画素を読み出す（ステップＳ７）。信号処理部５に読み出した画像を入力する（ステップＳ８）。信号処理部５によって読み出した画像の画像処理を行わせる。画像処理された画像データを第２画像Ｄｔとして撮影時刻とともに補助メモリ９ｂに記録する（ステップＳ９）。加えて、第２画像があることを示す信号も記録する（ステップＳ１０）。

同様に、第１ＡＦＥ４ｗによって撮像素子３から第１画像範囲３ｗの画像信号を読出す。Ｎ個の画素を読出す（ステップＳ１１）。信号処理部５に読み出した画像を入力する（ステップＳ１２）。信号処理部５に読み出した画像の画像処理を行わせる。画像処理された画像データを第１画像Ｄｗとして撮影時刻とともにメモリ９に記録する（ステップＳ１３）。その後、撮影終了の指示の有無を判断する（ステップＳ１４）。撮影終了の指示がないとき（ステップＳ１４ＮＯ）はステップＳ２１に進み、撮影を継続する。撮影終了の指示があれば（ステップＳ１４ＹＥＳ）、終了処理を実行して（ステップＳ１５）、終了させる。

一方、ステップＳ２１では、撮影者による撮影途中での切出し部（第２画像Ｄｔ）を変更指示の有無を判断する。変更指示があったときは（ステップＳ２１ＹＥＳ）、それに従って設定を変更する。変更操作は上記図１０で説明したのと同様であるので省略する。そして、この切出し部の変更設定の終了を判断して（ステップＳ２２）、終了するまでは（ステップＳ２２ＮＯ）、ステップＳ１０に進む。変更操作途中の第２画像Ｄｔは乱れた画像となるので、終了するまでは第２画像Ｄｔの記録はせずに、第１画像Ｄｗのみを記録するようにする。そして、この変更が終了したら（ステップＳ２２ＹＥＳ）、ステップＳ６に進み、第２画像Ｄｔの記録を開始する。ただし、上記変更中には、第１画像Ｄｗのみの記録だけでなく、変更前の第２画像Ｄｔを継続記録するようにしてもよい。乱れた画像の記録をしないようにすれば良いからである。

また、撮影中に撮影者が動画だけでなく静止画を撮影したい場合には、静止画撮影も可能にする。切出し部（第２画像Ｄｔ）の変更操作がないときは（ステップＳ２１ＮＯ）、静止画撮影の指示の有無を判断する（ステップＳ２３）。静止画撮影の指示があったときは（ステップＳ２３ＹＥＳ）、動画撮影時のＮ個より多いＮ１個の画素を撮像素子から取り出す（ステップＳ２４）。ここでは、第２画像Ｄｔに変えて静止画像を撮影するようにする。この画像データを撮影時刻とともにメモリ９に記録する（ステップＳ２５）。また、第２画像Ｄｔの撮影の代わりに静止画撮影を行っているので、静止画撮影中はステップＳ１０に進み（ステップＳ２６ＹＥＳ）、第１画像Ｄｗ撮影を行う。静止画撮影処理が終了すれば（ステップＳ２６ＮＯ）、ステップＳ２１に進む。第１画像Ｄｗ及び第２画像Ｄｔを得る本来の撮影に戻す。静止画撮影中には記録される画素数を増やすようにするので、プリント時の画質を確保することができる。

次に撮影終了後の、再生処理についてを図９、１１，１２を用いて説明する。図１１は、図１のカメラブロック図の一部分で、再生機能に関するブロック図である。信号処理部５には、ＣＰＵ５ｂ、分離部５ｃ、映像デコーダ５ｄ、音声デコーダ５ｅ、スーパーインポーズ部５ｆが設けられている。ＣＰＵ５ｂは、ＭＰＵ１０と通信して、信号処理部の制御を行う。分離部５ｃは、同じファイルに含まれる音声データと画像データを分離する。映像デコーダ５ｄは、分離された画像データを表示部８に表示するに適した形態のアナログ信号に変換する。音声デコーダ５ｅは、分離された音声データをスピーカ１３に出力可能な信号に変換する。スーパーインポーズ部５ｆは、表示部８に表示される画像に後述するサブ画像がある旨等の情報を重ねる。

メモリ９内のファイルの１つが、ファイル９ｂである。ファイル９ｂは、メイン領域とユーザー領域を有する。このメイン領域は、分離データ、第１画像データ、音声データ、付帯データから構成される。付帯データには、第１画像データに対応する第２画像データの有無が記録されている。ユーザー領域は、補助メモリ９ａからファイル９ｂにコピーされたデータである第２画像データが入っている。

このブロック図で、複数画像の再生を行うプロセスを説明する。画像処理部５が画像ファイル９ｂのデータを再生する。ＣＰＵ ５ｂは、この分離データの内容を見て、ファイル内のどのデータが第１画像を形成しているかを分離部５ｄに指示する。分離部はその指示に従って映像デコーダ５ｄ、音声デコーダ５ｅを用いて、これらの再生を行わせる。このときＣＰＵ５ｂが、画像とは別に付帯データも分離部５ｃによって読み込む。ＣＰＵ５ｂは、この付帯データをもとに、第１画像と同じタイミングで撮影された第２画像があるかどうかを、この付帯データにより判断する。

図１２は、第２画像が存在するときに、第２画像が表示される画面例である。まず、順次表示される画像に重ねて第２画像(サブ画像）がある旨をスーパーインポーズ部５ｆにより、たとえば８ｄとして表示する（Ａ−２）。また、ユーザーがサブ画像範囲を知りたいときは、ユーザーの操作に応じてどの部分が拡大表示されるかを枠８ｃを表示するようにしてもよい。ユーザーはこれを見て、第２画像表示操作を行ったとする。第２画像(サブ画像）をユーザー領域から読み出して、第１画像に変えて第２画像を再生する（Ａ−３，４）。

図９により再生処理を説明する。図９のステップＳ３１からステップＳ３７が再生処理の手順である。ユーザーにより指定された画像を再生画像として選択する（ステップＳ３１）。ユーザーにより選ばれた画像である第１画像Ｄｗの再生を開始する（ステップＳ３２）。選択された第１画像Ｄｗをメモリ９から読み出し伸張して表示部８に再生する。

ここで本発明の特徴たる同じ時刻に撮影された別の動画像、つまり第２画像Ｄｔが補助メモリ９ｂに存在するかを判断する（ステップＳ３３）。そして、現在再生中の第１画像に対応する第２画像Ｄｔがあれば（ステップＳ３３ＹＥＳ）、ステップＳ３４に進む。ここで、直ちに第２画像を表示するのではなく、第２画像が存在する旨を表示する（ステップＳ３４）。図１２のＡ−２で示す８ｄのような表示である。なお、対応する第２画像Ｄｔがなければ（ステップＳ３３ＮＯ）、ステップＳ４１に進む。

そして、ユーザーによる、第２画像の範囲を確認する操作の有無を判断する（ステップＳ３５）。確認操作がされれば（ステップＳ３５ＹＥＳ）、第２画像の範囲を第１画像に重畳して指定する（ステップＳ３６）。図１２のＡ−２で示す枠８ｃのような表示である。

続いて、ユーザーの画像切換え操作の有無を判断する（ステップＳ３７）。切換え操作があったら（ステップＳ３７ＹＥＳ）、第２画像Ｄｔも同時に再生を開始する（ステップＳ３８）。対応する第２画像Ｄｔをメモリ９ｂから読み出し伸張して表示部８に再生する。第１画像Ｄｗと第２画像Ｄｔを表示部８に図４（Ａ）で示したように並べて表示させる。そして、画像再生エリアの変更指示の有無を判断する（ステップＳ３９）。図４（Ｂ）のように、変更指示があれば（ステップＳ３９ＹＥＳ）サイズを変更して再生する（ステップＳ４０）。表示部８にタッチパネルを設けてあるカメラでは、タッチ操作で表示位置やサイズを変更しても良い。以降、再生の終了指示を判断し（ステップＳ４１）、終了指示があるまでは（ステップＳ４１ＮＯ）、ステップＳ３３に戻り巡回する。また、切換え操作がないときは（ステップＳ３７ＮＯ）、ステップＳ４１にジャンプする。再生の終了指示を検出すれば（ステップＳ４１ＹＥＳ）、終了処理する。なお、上記フローチャートでは、第２画像Ｄｔを表示させる際に第１画像Ｄｗと共に表示させるよう説明したが、図１２で示したように、第２画像Ｄｔを単独で表示させても当然に良い。

次に、第１画像Ｄｗと第１画像Ｄｔの各画素の算出方法を説明する。図１３は、第１画像Ｄｗと第２画像Ｄｔの画素の関係を説明する図である。以下、第１画像Ｄｗの１画素をＰｗ、第２画像Ｄｔの１画素をＰｔで示す。なお本例では、第１画像Ｄｗの１画素Ｐｗは、第２画像Ｄｔの１画素Ｐｔの４画素分に相当し、第２画像Ｄｔの１画素Ｐｔは撮像素子の１６画素から構成されるものとする。つまり第１画像Ｄｗの１画素Ｐｗは、撮像素子の６４画素から構成される。もちろんこれは一例であって、この割合に限られることはない。

同図（Ａ）は、第１画像Ｄｗの第１撮像範囲３ｗの画素エリア全体を模式的に示す図である。同図（Ｂ）は、第１画像Ｄｗの１画素Ｐｗ１領域を拡大した図である。同図（Ｃ）は、更に（Ｂ）のＰｗ１の領域を拡大した図である。

ｍ１は第１画像Ｄｗの水平方向の画素数で、ｎ１は第１画像Ｄｗの垂直方向の画素数である（同図（Ａ））。同様にｍ２は第２画像Ｄｔの水平方向の画素数で、ｎ２は第１画像Ｄｔの垂直方向の画素数である。そして、第１画像Ｄｗと第２画像Ｄｔは同一画素数Ｎ個で構成される。つまり、ｍ１×ｎ１＝ｍ２×ｎ２（＝Ｎ個）である。

そして、同図（Ｂ）は、画素Ｐｗの一つである画素Ｐｗ１の構成を示す。前述したように画素Ｐｗは、４個の画素Ｐｔ（Ｐｔ１、Ｐｔ２、Ｐｔ３、Ｐｔ４）から構成される。そして、画素Ｐｔ１はＲ画素（赤）とＢ画素（青）と２つのＧ画素（緑）の計４画素を１つの単位として、４つの単位、つまり計１６画素から構成される。ここで、Ｒ画素，Ｇ画素，Ｂ画素はそれぞれ撮像素子の画素である。他の画素Ｐｔ２、Ｐｔ３、Ｐｔ４もＰｔ１と同様に構成される。さらに、同図（Ｃ）で、Ｐｔ１を構成する撮像素子の画素を詳細に示す。他のＰｔも、Ｐｔ１と同じ構成である。左上の領域のＰｔ１は、４個のＲ画素（赤）と４個Ｂ画素（青）と８個のＧ画素（緑）の計１６画素から構成される。

このように構成された第１画像Ｄｗと第２画像Ｄｔの画素の計算式を示す。以下で、赤を代表にして説明するために、Ｒ画素にのみ番号を付ける。ここで、撮像素子のタイプが非破壊読み出しタイプか否かで計算式が異なるので、分けて説明する。利用する撮像素子３が、非破壊読み出しの可能なタイプの場合には、画素の信号を複数回読出しできるので、同じ画素の情報を第１画像Ｄｗと第２画像Ｄｔでそれぞれ読出しできる。一方、非破壊読み出しできないタイプの場合には、画素の信号を１回しか読出しできないので、同じ画素の情報を第１画像Ｄｗと第２画像Ｄｔで共通利用することができないという制限が出る。非破壊読み出しタイプの撮像素子の代表例は、ＣＭＯＳである。非破壊読み出しのできないタイプの撮像素子の代表例は、ＣＣＤである。

まず、使用する撮像素子３が非破壊読み出しタイプのときの計算式から説明する。
Ｐｔ１には、赤成分として、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４が存在する（図（Ｃ））。そこで、Ｐｔ１の赤成分をＰｔ１ｒとし、

〔数１〕
Ｐｔ１ｒ＝（Ｒ１１+Ｒ１２+Ｒ１３+Ｒ１４）／４
とする。つまり、４画素の平均をＰｔ１ｒの値とする。
また、Ｐｗ１には、赤成分として、（Ｒ１１からＲ１４）、（Ｒ２１からＲ２４）、（Ｒ３１からＲ３４）、（Ｒ４１からＲ４４）で、計１６個が存在する（図（Ｃ）。そこで、Ｐｗ１の赤成分をＰｗ１ｒとし、

〔数２〕
Ｐｗ１ｒ＝（Ｒ１１+Ｒ１２+Ｒ１３+Ｒ１４+Ｒ２１+Ｒ２２+Ｒ２３+Ｒ２４+Ｒ３１+Ｒ３２+Ｒ３３+Ｒ３４+Ｒ４１+Ｒ４２+Ｒ４３+Ｒ４４）／１６
とする。つまり、１６画素の平均をＰｗ１ｒの値とする。

次に、使用する撮像素子３が非破壊読み出しができないときタイプのときの計算式を説明する。
Ｐｔ１の赤成分Ｐｔ１ｒは、

〔数３〕
Ｐｒ１ｒ＝Ｒ１１
とする。Ｒ１１のみを使う。Ｒ１２、Ｒ１３、Ｒ１４は、以下のＰｗで使用するようにするからである。
同様にＰｗ１の赤成分Ｐｗ１ｒは、

〔数４〕
Ｐｗ１ｒ＝（Ｒ１２+Ｒ１３+Ｒ１４+Ｒ２２+Ｒ２３+Ｒ２４+Ｒ３２+Ｒ３３+Ｒ３４+Ｒ４２+Ｒ４３+Ｒ４４）／１２
とする。Ｒ１１やＲ２１は使えないからである。
Ｒ（赤）以外の、Ｇ，Ｂ画素についても同様な計算式を用いて、第１画像Ｄｗと第２画像Ｄｔの各画素の信号を算出する。

次に、非破壊読み出し撮像素子の読出しを簡単に説明する。図１４は、ＣＭＯＳタイプの撮像素子の回路である。破線で囲まれた部分が１画素分に相当する。この画素を代表として動作を簡単に説明する。他の画素も同様な構成とする。

伝送Ｔｒ４４をオフにして、フォトダイオード４１に並列の容量に光に応じた電荷をためる。電荷をためている期間が積分時間となる。積分後に、リセットＴｒ４５をオンからオフさせ、伝送Ｔｒ４４をオンさせると、積分時間と光量に従った電圧が増幅Ｔｒ４２に入力され、増幅された出力が生じる。

これをサンプルホールド回路（Ｓ／Ｈ）４６に入力させ、出力値を保持させる。Ｓ／Ｈ回路４６から１画素分の画像信号を平均化処理部４７に出力される。そして平均化処理部４７が、この画素及び別の画素の画像信号を加算して平均化処理を行う。平均化処理は、上記式１，２に従う。これにより、第１画像Ｄｗや第２画像Ｄｔの画素の信号が算出される。平均化処理はそれぞれ第１ＡＦＥ４ｗ、第２ＡＦＥ４ｔで行う。また、フォトダイオードの出力レベルで加算したものを画素数で割って平均化する構成にしてもよい。一方、サンプルホールド回路（Ｓ／Ｈ）がない回路では、出力値の保持ができないので式３、式４を用いてもよい。

以上説明したように、第１実施形態によるカメラでは、１つのシーンを全体と一部の２つの画角で同時に撮影できるので、変化を持たせた動画像撮影ができる。さらに、撮影途中で第２画像の撮影範囲の切換えもできるので、変化のある画像鑑賞ができる。換言すれば、２台のカメラで撮影したような変化のある画像が撮影でき、飽きのこない画像が記録できる。また、途中で静止画撮影も可能にしたり、第２画像の撮影エリアの切換え時に画像の乱れも起こりにくいように、細かい点に配慮した撮影もできる。また、全体画像である第１画像Ｄｗと一部の画像である第２画像Ｄｔが同時に並べて再生できるので、鑑賞者は自分の好きな方の画像をじっくり鑑賞することができる。

（第２実施形態）
図１５、図１６を用いて、第２実施形態について説明する。第１実施形態のカメラ１では、光学系のレンズ２を共通とし、撮像素子３の有効エリアを切換えることで、異なる画角の２つの画像を得た。これに対して、第２実施形態では、異なる光学系により２つの画像を得るようにする。

図１５（Ａ）は、第２実施形態が適用されるカメラ１の撮像系のブロックの概略を示す図である。
撮像系以外は、第１実施形態と同じなので、その説明は省略する。

カメラ１には、広い範囲を撮影する広角レンズ５２ｗと狭い範囲を撮影する狭角のレンズ５２ｔの両方が備えられる。両者のレンズは相互に焦点距離の異なるレンズで、広角レンズ５２ｗは短焦点、狭角のレンズ５２ｔは長焦点の光学系である。そして、広角レンズ５２ｗと狭角のレンズ５２ｔは、この２つの像が撮像素子５３の異なる領域に結像されるように配置される。つまり、レンズ５２ｗによる第１撮像範囲５３ｗとレンズ５２ｔによる第２撮像範囲５３ｔが、撮像素子上で異なる位置になる。

またカメラ１には、撮像素子５３、ＡＦＥ（アナログフロントエンド）５４、信号処理部５５が設けられる。そしてＡＦＥ５４は、撮像素子５３で形成される２つの画像について、第１撮像範囲５３ｗと第２撮像範囲５３ｔの画像信号を別々にして所定の処理を行う。さらに信号処理部５では、ＡＦＥ５４から出力される第１画像Ｄｗと第２画像Ｄｔの画像データに対して圧縮等画像処理がなされる。そして圧縮等処理された第１画像Ｄｗと第２画像Ｄｔが不図示のメモリ９に記録される。

図１５（Ｂ）は、第１画像Ｄｗと第２画像Ｄｔとして記録される２つの画像の大きさを示す。広い範囲の画像Ｄｗとこの広い範囲の一部である狭い範囲の画像ｄｔが撮影され記録される。光学系を別にすることによっても、このような２つの画像の動画撮影ができる。

図１６は、第２実施形態のもう１つのカメラで、光学系として図１５とは異なる光学系を採用した例である。カメラ１の光学系には、広角レンズ６２ｗ、狭角レンズ６２ｔ、ミラー６２ｍ、プリズムミラー６２ｐが備えられる。両者のレンズは相互に焦点距離の異なるレンズで、広角レンズ５２ｗは短焦点、狭角のレンズ５２ｔは長焦点の光学系である。また、カメラ１には、ＡＦＥ（アナログフロントエンド）６４、信号処理部６５が設けられる。

広角レンズ６２ｗとミラー６２ｍの組と、狭角レンズ６２ｔとミラー６２の組がプリズムミラー６２を挟んでほぼ対象に配置される。広角レンズ６２ｗを通過し、ミラー６２ｍで反射された１の被写体光が、プリズムミラー６２の一辺で反射されて撮像素子６３の上側の領域（本図で見て）に入射する。一方狭角レンズ６２ｔを通過し、ミラー６２ｍで反射された別の被写体光が、プリズムミラー６２の別の一辺で反射されて撮像素子６３の下側の領域（本図で見て）に入射する。これにより１つの撮像素子６３の別々の領域に異なる画角の画像が結像される。そしてＡＦＥ６４では、撮像素子６３で形成された２つの画像について、第１撮像範囲６３ｗと第２撮像範囲６３ｔの画像信号を別々にしてＡ／Ｄ変換等所定の処理が行われる。信号処理部６５では、圧縮等画像処理がなされ、それぞれ第１画像Ｄｗと第２画像Ｄｔとして不図示のメモリ９に記録される。

以上により、第２実施形態では、単純な撮像素子制御により、２つの動画画像を得る事が可能になる。本例においても、従来のムービーのような単調な画面ではなく、変化を持たせた撮影と鑑賞が可能になる。もちろんこの構成で、図１０で説明した第２画像のサイズや位置の切換えをするようにしてもよい。

以上、第１および第２実施形態によれば、撮像素子の持つ豊富な画像データを有効利用しながら、間引きによる読出しや特定の部分の画像のみの読出しを行って、複数の高品位の画像を同時記録するので、これまでのようにたくさんのカメラを用意する必要はなく、１台で変化のある画像を取得することができるカメラを提供することができるようになる。また、動画像は例えばＴＶのような再生側の制約もあり、必要以上の画素数は無駄になりがちであるが、本発明によれば、高速で莫大な画素出力を読み出せる。

また、上記各実施形態で説明したＭＰＵ１０の処理に関しては、一部または全てをハードウェアで構成してもよい。具体的な構成は設計事項である。また、ＭＰＵ１０による各制御処理は、ＲＯＭ７に格納されたソフトウェアプログラムがＭＰＵ１０に供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１０の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリー等を用いることができる。

さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１実施形態において、本発明が適用されるデジタルカメラの全体ブロック図。 第１実施形態において、撮影範囲の異なる画像撮影を行うブロック全体を説明する図。 第１実施形態において、撮像素子３への積分とその読出しのタイミングを示す図。 第１実施形態において、撮影された２つの動画像の再生例を説明する図。 第１実施形態において、第２撮像範囲３ｔの位置の変更例を示す図。 第１実施形態において、切出し部の位置を変化させた例を示す図。 第１実施形態において、撮影途中での第２撮像範囲３ｔ（切出し部）変更の例を示す図。 第１実施形態において、カメラ１の撮影再生処理を示すフローチャートその１。 第１実施形態において、カメラ１の撮影再生処理を示すフローチャートその２。 第１実施形態において、撮影者による切出し位置設定操作を示す図。 第１実施形態において、再生に関する機能を説明するための部分的なブロック図。 第１実施形態において、再生時の画面表示例を示す図。 第１実施形態において、第１画像Ｄｗと第２画像Ｄｔの画素の関係を説明する図。 第１実施形態において、ＣＭＯＳタイプの撮像素子の回路図。 第２実施形態において、光学系を中心にしたカメラの主要ブロック図。 第２実施形態において、他の光学系を採用したカメラの主要ブロック図。

符号の説明

1…カメラ、２…レンズ、３…撮像素子、３ｗ…第１撮像範囲、３ｔ…第２撮像範囲、４…アナログフロントエンド（ＡＦＥ）部、４ｗ…第１ＡＦＥ、４ｔ…第２ＡＦＥ、５…信号処理部、
５ａ…補助ブロック、５ｂ…ＣＰＵ、５ｃ…分離部、５ｄ…映像デコーダ、５ｅ…音声デコーダ、
５ｆ…スーパーインポーズ、６…ＲＡＭ、
７…ＲＯＭ、８…表示部、８ｃ…カーソル枠、９…メモリ、９ａ…補助メモリ、９ｂ…ファイル
１０…ＭＰＵ、１１…無線送信、１２…プリント信号出力部、１３…スピーカ、１４…時計部、
１５…位置部、１６、１６ａ、１６ｂ、１６ｃ…操作部、１６−１…ズーム操作ボタン、
１６−２…撮影範囲設定ボタン、１６−３…ＸＹ操作ボタン、１６−３Ｌ…左ボタン、
２０… 被写体、
４１…フォトダイオード、４２…増幅トランジスタ、４３…負荷トランジスタ、
４４…伝送トランジスタ、４５…リセットトランジスタ、４６…サンプルホールド部（Ｓ／Ｈ）、
４７…平均化部
５２ｗ…広角レンズ、５２ｔ…狭角レンズ、５３…撮像素子、５４…アナログフロントエンド（ＡＦＥ）部、５５…信号処理部、
６２ｗ…広角レンズ、６２ｔ…狭角レンズ、６２ｍ…ミラー、６２ｐ…プリズムミラー、６３…撮像素子、６４…アナログフロントエンド（ＡＦＥ）部、６５…信号処理部、
ｅ…矢印、
θｗ…第１の画角、θｔ…第２の画角、Ｄｗ…第１画像、Ｄｔ…第２画像、Ｐｗ…第１画像の１画素、Ｐｔ…第２画像の１画素、Ｎ…画素数

Claims (2)

1. 撮像領域全体から指定された領域の画像を読み出す撮像部と、
   上記撮像領域全体から操作により指示された範囲を上記指定された領域の画像として読み出すよう上記撮像部を制御し、上記撮像部によって読み出された画像をメモリに記録させて、動画像の撮影を行うよう制御する制御部を備え、
   上記制御部は、上記撮像領域全体の一部分を上記指定された領域の画像として読み出している場合に、当該指定された領域を変更する操作があったときには、当該変更操作前の指定された領域と当該変更操作後の指定された領域の両方を含む領域の画像を所定時間読み出してから、当該変更操作後の指定された領域の画像を読み出すように上記撮像部を制御する
   ことを特徴とするカメラ。
2. 上記制御部は、上記変更操作前の指定された領域と変更操作後の指定された領域の両方を含む領域の画像として、上記撮像領域全体の画像を読み出すように上記撮像部を制御する
   ことを特徴とする請求項１に記載のカメラ。

Images