JP4717140B2

JP4717140B2 - 電子スチルカメラ装置および画像ズーム方法

Info

Publication number: JP4717140B2
Application number: JP2009520280A
Authority: JP
Inventors: 匡鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-06-21
Filing date: 2008-02-07
Publication date: 2011-07-06
Anticipated expiration: 2028-02-07
Also published as: JPWO2008155868A1; WO2008155868A1

Description

この発明は、ディスプレイの表示面に装着されたタッチパネルを操作してズーミングを行い所望の部分画像を得る電子スチルカメラ装置に関するものである。

撮像素子で撮像された映像信号から任意の１フレームまたは連続したフレームを抽出してメモリに記録する電子スチルカメラ装置が普及している。このような装置において、例えばレンズ系の焦点距離を変更して画角を拡大から縮小まで任意に変化させる光学ズーム手段が設けられているのが一般的である。この光学ズーム手段の制御は、ユーザが、例えば拡大方向と縮小方向の２つの操作ボタンを適宜押すことで行われる。
また、撮像中の画像を表示するディスプレイの表示面に装着したタッチパネルを操作してズーム制御を行う電子スチルカメラ装置の技術がある（例えば特許文献１参照）。このズーム制御技術では、撮像中の画像に重畳して、ディスプレイの表示面の中心に対して同心で表示面の外枠と相似する複数の矩形のズーム枠をグラフィック表示するようにしておく。ユーザがタッチパネルにより任意のズーム枠を選択した場合には、ズーム手段を制御してそのズーム枠内の画像を表示面の外枠と一致するまで拡大処理する。

特許第３６２０５３４号公報

以上のように、操作ボタンを押すことでズーム操作を行う電子スチルカメラでは、ズーム制御を実行した後で被写体と画角がずれている場合には、被写体の所望の位置を決定するためにカメラの向きを変更する作業が必要となり、所望の画像を得るまでの調整が面倒であった。また、特許文献１に記載のズーム制御をタッチパネルを用いて行う電子スチルカメラの場合は、予め設定された画角に変更するだけであり、任意の倍率に設定することができない。また、この電子スチルカメラは、タッチパネルによる操作機能は拡大だけで、縮小方向に対する制御機能を備えていない。

この発明は、上記問題点を解決するためになされたもので、タッチパネルを用いた簡単な操作により任意の倍率のズーム画像を容易に得ることができると共に、被写体にカメラを向ける操作の頻度を削減できる電子スチルカメラ装置を得ることを目的とする。

この発明に係る電子スチルカメラ装置は、撮像中のフレーム画像を表示するディスプレイの表示面にタッチパネルを装着し、表示中のフレーム画像にユーザが触れることで与えた指示を当該タッチパネルで検出し、検出された指示に応じてズーム手段を制御してデジタルズームを行う電子スチルカメラ装置において、表示されるフレーム画像の外周に重畳して前記ディスプレイの表示面の内周４辺に区分けされた画像縮小用指示部を表示するグラフィック表示手段と、前記ディスプレイで表示している撮像中のフレーム画像の任意の２点に指示が与えられ場合に、当該２点を対角とする一次矩形を生成し、当該一次矩形の上下または左右を調整してフレーム画像と同じ縦横比を持つ相似矩形を生成し、当該相似矩形を前記ズーム手段に与えて撮像中のフレーム画像から当該相似矩形内に位置する画像領域を切り取って拡大処理するよう前記ズーム手段を制御し、その後、画像縮小用指示部のいずれか１辺に指示が与えられた場合には、現在の相似矩形を指示された辺の方向に広げて次の相似矩形を生成し、当該次の相似矩形を前記ズーム手段に与えて撮像中のフレーム画像から当該次の相似矩形内に位置する画像領域を切り取って拡大処理するよう制御する制御手段を備えたものである。

この発明によれば、タッチパネルを使用して拡大したい部分の画像を簡単な入力操作で直接指定することで拡大ズームが行え、また、表示画像の周囲に設けた画像縮小用指示部の片を選択することによって縮小ズームを行えるので、カメラを向ける設定も１回程度で、後はカメラを動かさずズームを実行できるため、カメラの向きの変更操作の頻度が改善され、ズーム操作を簡単にする効果がある。

この発明の各実施の形態による電子スチルカメラ装置の主要な機能構成を示すブロック図である。この発明の実施の形態１に係るディスプレイの画面構成を示す説明図である。この発明の各実施の形態に係るシステム制御部によるズーム制御の処理を示すフローチャートである。この発明の実施の形態１に係る拡大ズーム制御に関するサブルーチンを示すフローチャートである。この発明の実施の形態１に係る縮小ズーム制御に関するサブルーチンを示すフローチャートである。この発明の実施の形態１に係る元画像に対して選択された拡大対象部分を示す説明図である。この発明の実施の形態１に係る相似矩形の生成方法を示す説明図である。この発明の実施の形態１に係る拡大ズーム後の表示面を示す説明図である。この発明の実施の形態１に係る縮小ズームの対象とする画像例を示す説明図である。この発明の実施の形態１に係る縮小ズームの方法を示す説明図である。この発明の実施の形態１に係る縮小ズーム後の表示面を示す説明図である。この発明の実施の形態２に係る拡大ズーム制御に関するサブルーチンを示すフローチャートである。この発明の実施の形態２に係るディスプレイの画面構成を示す説明図である。この発明の実施の形態２に係る相似矩形の生成方法を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の各実施の形態による電子スチルカメラ装置の主要な機能構成を示すブロック図である。
最初に電子スチルカメラ装置の一般的な構成、動作について説明する。
電子スチルカメラ装置は、マイクロコンピュータやＣＰＵおよび所定の制御プログラムで構成されるシステム制御部１００を備えている。このシステム制御部１００は、各種センサやユーザスイッチから入力情報を受けて各部を後述するように制御する。
光学系１０は、絞り機構１３を挟んで配置されている前後のレンズ群１１，１２で構成されており、取り込んだ映像光をＣＣＤやＣＭＯＳセンサなどの撮像素子２０の受光面に照射して結像する。この場合、画角（レンズにとっての視野角）は、焦点距離（レンズ群１１，１２から受光面までの距離）と画像が写る受光面のサイズで決まる。撮像素子２０からは、受光面に形成された画像に対応した撮像信号が生成される。パルス信号発生回路５０は、システム制御部１００により制御され、各種のパルス信号を発生する。これらのパルス信号に基づいて、撮像素子駆動部２１、Ａ／Ｄ変換器３０および画像信号処理部４０が駆動している。撮像素子２０は、撮像素子駆動部２１により周知の方法で制御されることにより撮像信号を読み出してＡ／Ｄ変換器３０に出力する。Ａ／Ｄ変換器３０は、入力された撮像信号をデジタル信号に変換して、画像信号処理部４０に出力する。画像信号処理部４０は、入力されるデジタル変換された撮像信号に所定の画像処理を施して画像データを生成し、表示処理部８０に出力する。画像信号処理部４０には、１フレーム分の画像データ（フレーム画像）を格納するためのフレームメモリ４１が接続されている。

表示処理部８０では、システム制御部１００によって制御され、画像信号処理部４０から入力された撮像中のフレーム毎の画像データをアナログの映像信号に変換し、液晶やＥＬなどのディスプレイ８１に与えて画像を表示させる。ユーザは、ディスプレイ８１に表示されている画像を見ていてカメラ撮影として記憶したい場合、シャッターボタン１０１を押す。システム制御部１００では、このシャッター操作に応答して画像信号処理部４０を制御して、フレームメモリ４１に記憶しているシャッター時のフレーム画像を読み出して記録処理部６０に与える。記録処理部６０は、システム制御部１００によって制御され、入力されたフレーム画像を所定の信号に変換して周知のカード化された記録媒体６１に書き込む。同時に、表示処理部８０は、このフレーム画像を映像信号に変換してディスプレイ８１に与え、静止画として一定期間表示させる。

次に、この発明に係るズーム制御を行う構成、動作の概要について説明する。
タッチパネル７０は、ディスプレイ８１の表示面に装着されており、表示している画像に対してユーザが触れた場合、すなわち当該タッチパネル７０に触れた場合に、その位置の検出信号をコントロール制御部１００に出力する。この実施の形態１の場合は、ユーザは表示画像上の拡大したい画像部分の周囲２点に触れることにより拡大ズームの指示を出すようにしている。グラフィック信号発生部８２は、コントロール制御部１００により制御され、拡大ズームが行われた際にディスプレイ８１の表示面の内周４辺に区分けされた枠状の画像縮小用指示部を表示させるためのグラフィック信号を発生する。図２に、ディスプレイ８１の表示面に表示された画像縮小用指示部６と撮像中のフレーム画像７を示す。タッチパネル７０は、ユーザがこの画像縮小用指示部６のいずれか１片に触れた場合、後述するように縮小ズームの指示を出すようにしている。

また、光学ズーム機能は、光学系１０の前レンズ群１１と後レンズ群１２を光軸方向に変位させて焦点距離（または画角）を変えることで行われる。このレンズ群１１，１２の変位は、システム制御部１００から与えられる制御信号に従ってレンズ制御部１４によりモータを駆動することで行われる。また、光学系１０にある絞り機構１３の開度調節は、システム制御部１００から与えられる制御信号に従って絞り駆動部１５により行われる。
電子スチルカメラ装置は、光学ズーム機能だけの製品もあるが、光学ズームにより画角を変えて拡大したフレーム画像に対して、さらに倍率をあげた画像を得たい場合にデジタルズームを併用している。この発明でも、光学ズームのズーミングを行った後のフレーム画像に対してタッチパネル７０を用いて指示することにより、表示中の元画像から画像領域を切り取って拡大する処理が行われる。そのための処理は、システム制御部１００で設定された制御情報に基づいて画像信号処理部４０で行われる。

なお、システム制御部１００には、上記のほかに、レンズ群１１，１２の焦点調節状態を測定するＡＦセンサ、露光時の絞り機構１３の開度と撮像素子２０のＣＣＤにおける電荷蓄積時間（露光時間）を決定するための測光を行う測光センサ、オ−ト・ホワイトバランス（ＡＷＢ）調整に用いるＲ、Ｇ、Ｂの光成分を検出するＡＷＢセンサ、カメラ上面から障害物までの距離を測定する測距センサ、シャッターボタン１０１を半押しすることによってオン状態となり、測光センサによる測光を行わせるための測光スイッチ、シャッターボタン１０１を全押しすることによってオン状態となり、撮像素子２０の撮像動作を開始させ撮像信号が発生させるレリ−ズスイッチ、オ−ト・ホワイトバランス設定モ−ドとマニュアル・ホワイトバランス設定モ−ドなどを設定するモ−ド設定スイッチなどが接続されるが、この発明に直接関係していないので図からは省略している。

次に、この実施の形態１によるデジタルズーム処理について説明する。図３は各実施の形態に係るシステム制御部１００によるズーム制御の処理を示すフローチャートで、カメラ起動中のデジタルズーム操作に対するルーチンである。図４はこの実施の形態１に係る拡大ズーム制御のサブルーチン、図５は縮小ズーム制御のサブルーチンを表す。
ユーザがディスプレイ８１の表示面に触れた場合、タッチパネル７０はその検出出力をシステム制御部１００に送る。システム制御部１００ではどの位置に触れたかによって拡大ズームを行うか、縮小ズームを行うかの判別を行う。まず、拡大ズーム指示か否かを判定し（ステップＳＴ１）、ユーザが図２に示すように、表示中のフレーム画像７上の２点の位置８，８の選択であった場合には拡大ズーム指示と判定して、拡大ズーム制御のサブルーチン（図４）に移る。一方、２点の位置でなかった場合には、画像縮小用指示部６の位置に触れたか否かを判定し（ステップＳＴ２）。画像縮小用指示部６のいずれかの辺に対する接触であった場合には縮小ズーム制御のサブルーチン（図５）に移る。

拡大ズームを行う場合、システム制御部１００では、タッチパネル７０から受け取った２点の指示に基づいて、当該２点を対角とする一次矩形を生成し、当該一次矩形の上下または左右を調整してフレーム画像と同じ縦横比を持つ相似矩形を生成し、この相似矩形を用いて拡大ズーム行う。このときの処理は、例えば図４のサブルーチンに従って行われる。
システム制御部１００は、まず、指示された２点の座標を対角とする矩形（一次矩形とする）を生成する（ステップＳＴ１０）。この場合、生成された一次矩形は元画像（フレーム画像）と縦横比が異なっている可能性があるため縦横比の調整を行う。元画像７に対して拡大対象部分が、図６に示すように破線で囲まれた一次矩形９として算出された場合、この一次矩形9の縦横比が元画像７の比と異なっているかの判定を行う（ステップＳＴ１１）。異なる場合には、指定した２点で構成される一次矩形の上辺と右辺の比を元画像７の上辺と右辺の比と比較する（ステップＳＴ１２）。元画像７の方が大きい場合には、一次矩形の上下方向を広げてフレーム画像と同じ縦横比を持たせて相似矩形にする（ステップＳＴ１３）。一方、図7のように元画像７の方が小さい場合には、破線で構成される一次矩形の左右方向を広げてフレーム画像と同じ縦横比を持たせて相似矩形にする（ステップＳＴ１４）。この拡大する過程において相似矩形を等倍画像（現在のフレーム画像）より広げることができないため、元画像７の画角外の部分にかかる場合を除き、上下に均等に広げ、画角の中心を維持する。元画像の画角外の部分にかかる場合は、相似矩形を接触する場所まで広げ、残りを反対の方向に広げることでカバーする。なお、この場合に生成される拡大対象の相似矩形は、元画像に対する座標で表される。

システム制御部１００は、上述のように生成した相似矩形を、デジタルズーム機能を備えた画像信号処理部４０に与え、拡大ズームを行うよう指示する（ステップＳＴ１５）。また、システム制御部１００は、拡大ズームに使用した相似矩形を一時保持しておく。画像信号処理部４０は、フレーム画像から、相似矩形内に位置する画像領域を切り取って引き伸ばす処理を行い、拡大処理した画像を表示、記録のため出力する。

また、図８に示すように、拡大ズーム後の画像が等倍時の外周と接している場合には、その方向にズームすることができないため、システム制御部１００は、相似矩形が元画像（フレーム画像）の外周に接しているか判定し（ステップＳＴ１６）、拡大ズームを実行した後、グラフィック信号発生部８２を制御して、接していない画像縮小用指示部の片６ａ，６ｂの色を変更する（ステップＳＴ１７）。これにより外周と接していることを視覚的に示し、縮小ズームを動作させようとする行動を防止する。

上述のように拡大ズームを行った後、縮小ズームを行う場合、ユーザは画像縮小用指示部６のいずれかの辺に触れることになる。システム制御部１００は、タッチパネル７０から受け取った検出である触れられた辺の指示に基づいて、現在の相似矩形を指示された辺の方向に広げて次の相似矩形を生成し、当該次の相似矩形を用いて縮小ズームを行う。このときの処理は、例えば図５のサブルーチンに従って行われる。この場合、タッチパネル７０に対して１回触れる毎に段階的な縮小ズームを行うモード、１回のタッチ操作で等倍まで戻すモードを選択設定できるようにしておく。
縮小ズームを行う前のディスプレイの８１の表示面は図９に示すようになっているとする。画像縮小用指示部６のうち縮小ズームを行える指示辺は色が変更されている６ａ，６ｂ，６ｃである。ユーザが、例えば辺６ｂに触れた場合（図３のステップＳＴ２）、システム制御部１００は、該当する辺の方向に画面を縮小する余地があるかどうかの判定を行う（ステップＳＴ２１）。これは、システム制御部１００で保持している現在表示している拡大画像に対応する相似矩形（現在の相似矩形）と元のフレーム画像の位置関係で判断する。画像を１段階縮小する場合、予め内部に持っている設定値に従い縮小する。画像を縮小する場合は、図１０に示すように、現在の相似矩形を指定された指示辺６ｂの方向にスペースを広げる（ステップＳＴ２３）と共に、隣接する２辺６ａ，６ｃの方向に広げ、縦横比を維持した次の相似矩形にする（ステップＳＴ２４）。ただし、等倍時の画角より外には広げることができないため、反対方向に広げる。

システム制御部１００は、上述のように生成した次の相似矩形を、デジタルズーム機能を備えた画像信号処理部４０に与え、縮小ズームを行うよう指示する（ステップＳＴ２６）。また、システム制御部１００では、縮小ズームに使用した次の相似矩形を一時保持し、さらに次の段階の縮小ズームに備える。画像信号処理部４０では、縮小ズームの場合、画像信号処理部４０で生成したサイズの大きくした次の相似矩形内に位置する画像領域をフレーム画像から切り取ってフレーム画像サイズまで引き伸ばす処理を行う。したがって、表示面で見た場合、図１１に示すように、いわゆるズームアウトされた画像となる。

さらに、システム制御部１００は、縮小ズーム画像（次の相似矩形）が元画像（フレーム画像）の外周に接しているかを判定し（ステップＳＴ２７）、接していない辺の画像縮小用指示部の色を図１１に示すように変更する。これにより、外周と接していることを視覚的に示し、等倍時の外周と接する画角になっているにもかかわらず、縮小ズームを動作させようとする行動を防止する。

以上のように、この実施の形態１によれば、タッチパネルを使用して拡大したい部分の画像を簡単な入力操作、すなわち画像の周囲の任意の２点を指定することで拡大ズームが行え、また、表示画像の周囲に設けた画像縮小用指示部の片を選択することによって縮小ズームを行えるので、カメラを向ける設定も１回程度で、後はカメラを動かさずズームを実行できるため、カメラの向きの変更操作の頻度が改善され、ズーム操作を簡単にする効果が得られる。

実施の形態２．
図１２は、この発明の実施の形態２に係る拡大ズームの制御に関するサブルーチンを示すフローチャートである。
この実施の形態２の場合は、図１３に示すように、ユーザは、表示された撮像中のフレーム画像７上に破線で示すような概略円（正確な円でなくてもよいという意味）５を描くことにより画像部分を拡大対象として選択する。システム制御部１００では、タッチパネル７０から受け取った描かれた円の指示に応答して当該円の縦幅と横幅のうち長い方を基準とし、短い方を広げてフレーム画像と同じ縦横比を持つ相似矩形を生成し、この相似矩形を用いて拡大ズーム行う。このときの処理は、図１２のサブルーチンに従って行われる。
システム制御部１００は、タッチパネル７０からの検出出力に基づいて拡大画像の選択か否かを判定し（ステップＳＴ１）、概略円５の選択であった場合には拡大ズームと判定して、拡大ズーム制御のサブルーチン（図１２）に移る。システム制御部１００では、概略円５の縦幅と横幅を比較し（ステップＳＴ３１）、長い方を拡大ズームに用いる画角の基準とする。図１４に示すように、ズームの縦幅の方が長い場合は縦幅を基準とし、短い方の横幅を広げてフレーム画像と同じ縦横比を持たせて相似矩形にする（ステップＳＴ３２）。一方、横幅の方が長い場合は横幅を基準とし、短い方の縦幅を広げてフレーム画像と同じ縦横比を持たせて相似矩形にする（ステップＳＴ３３）。この拡大する過程において相似矩形を等倍画像（現在のフレーム画像）より広げることはできないため、元画像の画角外の部分にかかる場合を除き、上下に均等に広げ、画角の中心を円の中心とするよう維持する。元画像の画角外の部分にかかる場合は、相似矩形を接触する場所まで広げ、残りを反対の方向に広げることでカバーする。

システム制御部１００は、上述のように生成した相似矩形を、デジタルズーム機能を備えた画像信号処理部４０に与え、拡大ズームを行うよう指示する（ステップＳＴ３４）。また、システム制御部１００では、拡大ズームに使用した相似矩形を一時保持しておく。画像信号処理部４０では、フレーム画像から、相似矩形内に位置する画像領域を切り取って引き伸ばす処理を行い、拡大処理した画像を表示、記録のため出力する。

また、図８で説明したように、拡大ズーム後の画像が等倍時の外周と接している場合には、その方向にズームすることができないため、拡大ズームを実行した後、システム制御部１００は、相似矩形が元画像（フレーム画像）の外周に接しているかを判定し（ステップＳＴ３５）、グラフィック信号発生部８２を制御して、接していない辺の画像縮小用指示部６の辺の色を変更する（ステップＳＴ３６）。これにより、視覚的に外周に接していることを示し、縮小ズームを動作させようとする行動を防止する。

以上のように、この実施の形態２によれば、タッチパネルを使用して拡大したい部分の画像を簡単な入力操作、すなわち該当画像の周囲に円を描くことで拡大ズームが行え、また、表示画像の周囲に設けた画像縮小用指示部の片を選択することによって縮小ズームを行えるので、カメラを向ける設定も１回程度で、後はカメラを動かさずズームを実行できるため、カメラの向きの変更操作の頻度が改善され、ズーム操作を簡単にする効果が得られる。

以上のように、この発明に係る電子スチルカメラ装置は、ディスプレイを直接入力操作して拡大または縮小指定することでズーム操作を簡単にすることのできる電子スチルカメラ装置としたので、タッチパネルを操作してズーミングを行い所望の部分画像を得る電子スチルカメラ装置などに用いるのに適している。

Claims

撮像中のフレーム画像を表示するディスプレイの表示面にタッチパネルを装着し、表示中のフレーム画像にユーザが触れることで与えた指示を当該タッチパネルで検出し、検出された指示に応じてズーム手段を制御してデジタルズームを行う電子スチルカメラ装置において、
表示されるフレーム画像の外周に重畳して前記ディスプレイの表示面の内周４辺に区分けされた画像縮小用指示部を表示するグラフィック表示手段と、
前記ディスプレイで表示している撮像中のフレーム画像の任意の２点に指示が与えられた場合に、当該２点を対角とする一次矩形を生成し、当該一次矩形の上下または左右を調整してフレーム画像と同じ縦横比を持つ相似矩形を生成し、当該相似矩形を前記ズーム手段に与えて撮像中のフレーム画像から当該相似矩形内に位置する画像領域を切り取って拡大処理するよう前記ズーム手段を制御し、その後、画像縮小用指示部のいずれか１辺に指示が与えられた場合には、現在の相似矩形を指示された辺の方向に広げて次の相似矩形を生成し、当該次の相似矩形を前記ズーム手段に与えて撮像中のフレーム画像から当該次の相似矩形内に位置する画像領域を切り取って拡大処理するよう制御する制御手段を備えたことを特徴とする電子スチルカメラ装置。
制御手段は、ディスプレイで表示している撮像中のフレーム画像に与えられる２点の指示に応答する代わりに、フレーム画像上に描かれる任意の円の指示に応答し、当該円の縦幅と横幅のうち長い方を基準とし、短い方を広げてフレーム画像と同じ縦横比を持つ相似矩形を生成し、当該相似矩形をズーム手段に与えて撮像中のフレーム画像から当該相似矩形内に位置する画像領域を切り取って拡大処理するよう前記ズーム手段を制御するようにしたことを特徴とする請求項１記載の電子スチルカメラ装置。
制御手段は、画像縮小用指示部の辺に触れられる毎に現在の相似矩形を所定量ずつ段階的に広げて次の相似矩形を生成することを特徴とする請求項１記載の電子スチルカメラ装置。
画像データに基づいてディスプレイに表示される表示画像およびこの表示画像の周囲に設けられた画像縮小用指示部を表示する表示処理と、
前記表示画像ないし前記画像縮小用指示部にユーザが触れることで与えた指示を検出する検出処理と、
ユーザにより指示された前記表示画像の任意の２点を対角とする一次矩形を作成し、前記一次矩形の上下または左右を調整してフレーム画像と同じ縦横比を持つ相似矩形を生成し、前記相似矩形に基づいて前記表示画像から前記相似矩形内に位置する画像領域を切り取って拡大処理を行う拡大ズーム処理とを含み、
前記ディスプレイに表示されている画像縮小用指示部のいずれかの辺に、ユーザが指示したことを検出すると、現在の相似矩形を指示された辺の方向に広げ、指示された方向に隣接する２辺を広げて次の相似矩形を生成し、次の相似矩形に基づいて縮小処理を行う縮小ズーム処理とを含むことを特徴とする画像ズーム方法。