JP4805596B2 - カメラ装置 - Google Patents

Description

この発明は、電子カメラ装置等のカメラ装置において撮像された静止画や動画の再生、特に再生画像の任意の位置において、画像を拡大あるいは縮小する方法およびその画像が表示可能なカメラ装置に関する。

カメラ装置は、半導体メモリ（メモリカード）やハードディスク装置等の記録媒体に、静止画や動画を記録可能である。

撮像済み画像は、ユーザによるカメラ装置の操作により、例えばカメラ装置に一体的に設けられている液晶表示部や、ビデオ信号を表示可能な表示装置すなわちパーソナルコンピュータで利用される表示装置あるいは一般的なテレビ受像機等に表示（再生）される。

今日、カメラ装置や画面の大きなテレビ受像機（モニタ装置）の普及に伴い、撮像済み画像の部分拡大再生等も可能であることが、ユーザから広く要求されている。

なお、特許文献１には、デジタルスチルカメラにおいて、静止画を、拡大表示する際の表示制御方法が開示されている。
特開２００４−４８２２９号公報

しかしながら、特許文献１には、静止画像を拡大表示することおよびその取り扱い方法が示されているのみで、動画を再生しながらその動画の中の任意の領域を、拡大あるいは縮小表示することは、なんら示されていない。

本発明の目的は、動画を再生しながらその動画の中の任意の領域を、低コストで、拡大あるいは縮小表示可能なカメラ装置および画像処理方法を提供することである。

この発明は、上記問題点に基づきなされたもので、画像を保持する記録部と、前記記録部に保持されている動画像を表示する表示部と、前記表示部に表示された動画像に、その画像内の倍率変更部分を示す識別情報を重ね合わせる表示処理部と、前記表示部に表示された動画像に表示される前記倍率変更部分に対応する拡大画像を提供するために前記記録部が保持する全画面用の画像から拡大画像を生成するとともにその拡大画像が全体画像のどの部分の画像であるかを表示するための縮小画像を生成する画像拡大縮小処理部と、要求のある毎に前記画像拡大縮小部が形成した拡大画像または前記画像拡大縮小部が形成した縮小画像を、前記記録部に順に転送することにより、前記表示部に表示された動画像に表示される前記倍率変更部分と前記表示部に表示された動画像の相対位置の変更が指示された場合に、前記倍率変更部分に対応する拡大画像を前記変更が指示された相対位置に合わせて変更する表示制御部と、を有することを特徴とするカメラ装置を提供するものである。

本発明によれば、動画再生時も拡大表示できるため、再生画像を楽しむことができる。また、子画面も動画画像であるため、拡大表示しても画面全体が把握できる。しかも、シンプルな方法であり、コストも増加しない。

以下、図面を参照して、この発明の実施の形態について詳細に説明する。

図１（ａ）および図１（ｂ）は、本発明が適用可能な動画および静止画ならびに音声等が記録可能な電子カメラ装置の概略を示す。

図１（ａ）は、電子カメラ装置（撮影装置）１を撮影レンズ側から見た状態を示す。

電子カメラ装置１は、撮像レンズ１１、フラッシュ１２、（静止画撮影用）シャッターボタン１３およびリモコン受信部１４等を有する。電子カメラ装置１はまた、パーソナルコンピュータや、外部電源装置（充電器）等との接続に利用されるアダプタ接続部（接続端子）１５を有する。

図１（ｂ）は、電子カメラ装置１を、撮像レンズ１１と逆の側から見た状態を示す。

電子カメラ装置１はまた、主電源スイッチを兼ねるフレーム２１に一体に組み込まれた液晶モニタ（ＬＣＤパネル）２２およびスピーカ２３を有する。電子カメラ装置１はさらに、フレーム２１が閉じられる（電子カメラ装置本体の所定の位置に収容される）位置でオフされる所定の位置に、主電源スイッチ２４を有する。

また、電子カメラ装置１の所定の位置には、動画の記録（録画）の開始および停止（終了）の指示（制御コマンド）を入力可能な録画ボタン２５、動作モードやさまざまな条件の入力および決定の指示を選択する指示（制御コマンド）を入力可能なジョグ（ＪＯＧ）ダイアル２６、ジョグダイアル２６により選択（ガイド）される指示を確定（実行）するための指示（制御コマンド）を入力可能な決定（ＯＫ）ボタン２７、レンズ１１により取り込まれる画像の画角（撮影対象を撮像する角度）を変更するズーム動作のための制御信号を入力可能なズームバー２８、メニュー画面を表示させるための制御コマンドの入力に利用されるメニューボタン２９等が設けられている。

図２は、図１に概要を示したカメラ装置の制御系の一例を示す。

撮像レンズ１１から取り込まれた被写体像は、例えばＣＣＤセンサである撮像素子３１の結像面に結像され、アナログ信号（撮像画像データ）に変換される。

ＣＣＤセンサ３１からのアナログ信号（撮像画像データ）は、ＣＰＵ（主制御回路）１１１により制御されるアナログ−デジタル（Ａ／Ｄ）変換部１０１によりデジタル信号に変換され、カメラ信号処理回路１０２に入力される。

カメラ信号処理回路１０２では、Ａ／Ｄ変換部１０１によりデジタル信号に変換された撮像画像データに、例えばガンマ補正、色信号分離、あるいはホワイトバランス調整等の処理が施される。

カメラ信号処理回路１０２から出力された撮像画像データ、すなわち撮像レンズ１１により取り込まれた記録対象である画像は、ビデオデコーダ（Video Decoder）１０７を介して液晶パネル駆動回路（LCD Driver）１０８に入力され、液晶パネル駆動回路１０８により、フレーム２１にマウントされているＬＣＤパネル（以下単にＬＣＤと呼称する）２２（図１（ｂ）参照）に、表示される。

カメラ信号処理回路１０２から出力された撮像画像データは、記録時においては、圧縮／伸長部１０３で圧縮された後、メモリ回路１０４を通じて、主記録媒体、例えばハードディスク装置（以下ＨＤＤと略称する）１０５または付随する取り出し可能な記録媒体、例えば不揮発性メモリであるメモリカード１０６に記録される。

なお、圧縮／伸長部１０３においては、静止画は、例えばＪＰＥＧ規格等の、動画（非静止画）は、ＭＰＥＧ規格等の、周知の圧縮方式により圧縮される。また、メモリカード１０６は、例えばＳＤカード（登録商標）や、mini−ＳＤ（登録商標）と呼ばれる半導体メモリが利用可能である。

ＨＤＤ１０５またはメモリカード１０６に既に記録されている画像を再生する際には、ＨＤＤ１０５あるいはメモリカード１０６から読み出された画像が圧縮／伸長部１０３において伸長され、メモリ回路１０４を通じてビデオデコーダ１０７に供給される。以下、ビデオデコーダ１０７に供給された画像データは、液晶パネル駆動回路１０８を介して、ＬＣＤ２２に表示される。

なお、ＨＤＤ１０５およびメモリカード１０６との間のデータ（圧縮画像）の受け渡しには、図示しないが、記録メディアインタフェースが用いられる。また、ビデオデコーダ１０７の前段には、例えばビデオインタフェース（Video I/F）およびＯＳＤ（On Screen Display）処理部１２１が設けられている。

ビデオインタフェースおよびＯＳＤ処理部１２１は、図３を用いて後段に説明するが、ＬＣＤ２２に表示されている画像の任意の部分を拡大した画像を、例えば表示枠もしくは子画面により表示させる場合に、表示枠もしくは子画面を表示させるために用いられる。なお、ＯＳＤ１２１を介して重ね合わせられる画像は、画像（拡大縮小）処理部１３１により、拡大あるいは縮小される。

また、ＣＰＵ１１１のファームウエアとして、あるいはメモリ回路１０４の一部に一体化され、もしくはメモリ回路１０４に接続された外部メモリとして、画像データの処理に利用される図示しないワークメモリ（ＲＡＭ，キャッシュと呼称されることもある）が、設けられることはいうまでもない。

ＨＤＤ１０５またはメモリカード１０６に記録されている静止画、もしくは動画像データは、例えばパーソナルコンピュータ（ＰＣ）やビデオレコーダ等に代表される図示しない外部機器に転送可能である。なお、外部機器との間の転送には、例えばＵＳＢ（ユニバーサルシリアルバス）が利用可能である。もちろん、インタフェースとしては、周知のさまざまな規格、例えばＩＥＥＥ１３９４や、パラレルバスも利用可能である。

この場合、任意のインタフェースとメモリ回路１０４の間には、インタフェースコントローラ１０９が介在される。また、データの受け渡し（転送）には、ＬＡＮコントローラ１１０を通じて接続されるネットワーク（ＬＡＮ）が用いられてもよいことはいうまでもない。

ところで、記録媒体であるＨＤＤ１０５においては、その容量から、静止画を記録可能な画像数および動画を記録する際の記録時間（タイトル数）は、数１００〜数１０００にも及ぶ。このため、記録画像やタイトルの送りや戻しには、高速性が要求される。

従って、ジョグダイアル２６とＯＫボタン２７により、多くの画像やタイトルの選択やさまざまなモードの設定が、ストレスなく処理可能である（多くの画像やタイトルを連続してサーチして特定する際に、ジョグダイアル２６のような操作性の高いスイッチが有益である）。また、ジョグダイアル２６により入力される内容（ユーザによる操作）、あるいはカメラ装置１の動作状態、もしくはメニューボタン２９によるメニュー画面の表示等は、上述したＣＰＵ１１１、メモリ回路１０４、画像（拡大縮小）処理部１３１、ビデオインタフェースおよびＯＳＤ１２１等を介して合成され、ＬＣＤ２２に表示される。

なお、ＯＫ（決定）ボタン２７は、ＣＰＵ１１１に、ボタン２７が押された（オン／オフ信号が入力された）情報を与える。ＣＰＵ１１１は、その情報（ボタン２７）から入力されるオン／オフ信号に基づいて、ジョグダイアル２６により選択されている画像やタイトルあるいはモードを確定し、再生あるいはモードの設定等の処理を実行する。

ジョグダイアル２６は、ＣＰＵ（主制御装置）１１１に、その回転角と回転スピードの情報を与える。ＣＰＵ１１１は、それらの情報から（次の）画像の表示スピード等を制御することが可能である。

また、ＯＫ（決定）ボタン２７は、ジョグダイアル２６の回転中心に同軸（同心）状に位置される。なお、ＯＫ（決定）ボタン２７は、概ね中心（軸方向）に向けて力がかけられた（押された）場合は、上述のオン信号を入力可能で、円周上の円周を概ね４等分した４方向（一般に、「上下左右」と呼称される）のいずれかに力が加えられることで、例えばＬＣＤ２２に表示されている画像を、力が加えられている方向にスクロールさせる制御コマンド（指示）を入力させることができる。

ところで、静止画の再生時に、所定の部分を拡大表示することは多くのデジタルスチルカメラにおいて、既に実用化されている。

また、拡大時には、画面全体のどの部分の画像（位置）を拡大したかが分からなくなるため、図３（ａ）に示すように、ＬＣＤ２２の表示画面２２−３０１に、子画面あるいは枠２２−３０２を同時に表示し、さらに拡大している領域を示す拡大位置マークもしくは枠２２−３０３を表示している。

しかし、動画再生時に、同様に拡大画像を表示させようとした場合、多くの場合、一時停止状態からのコマ送り、あるいはコマ落し（一定時間毎に表示画像を抜き出す）等の、特別な再生状態が要求される。すなわち、動画再生時に表示画面の一部を拡大表示しようとした場合、シームレスな再生が困難である。

本提案は、リアルタイム性を損なうことなく動画の拡大表示ならびにスクロール、すなわち「表示部に表示された動画像に、その画像内の倍率変更部分を示す識別情報を重ね合わせ、表示部に表示された動画像に表示される倍率変更部分に対応する拡大画像を提供し、表示部に表示された動画像に表示される倍率変更部分と表示部に表示された動画像の相対位置の変更が指示された場合に、倍率変更部分に対応する拡大画像を変更が指示された相対位置に合わせて変更する」ことを可能とするものである。

例えば、図３（ａ）に示すように、画像再生中に、ＬＣＤ２２に再生対象画像（動画）の全体２２−３００が表示されている状態で（図３（ｂ）に抜き出して説明する）カメラ装置１のズームバー２８が［Ｔ（拡大）］側もしくは［Ｗ（縮小）］側のいずれかの方向に移動されると、ＬＣＤ２２に表示される画像は、拡大された部分の全体表示２２-３０１に切り替えられる。なお、拡大された部分の全体２２−３０１には、子画面または枠２２−３０２に、縮小された全体画像が同時に表示される。また、縮小表示された全体画像２２-３０２に、さらに拡大されている領域を示す拡大位置マークもしくは枠２２−３０３が重ね合わせられて、表示される。

拡大画像が表示されている間に、ユーザの操作によりＯＫボタン２７から「上下左右」のいずれかの方向への拡大対象領域の移動が指示（入力）されることで、拡大位置マーク２２−３０３が、縮小表示されている画像全体表示２２−３０２内を移動される。

この拡大位置マーク２２−３０３の移動指示の入力と関連付けられて、拡大表示されている拡大画像２２−３０１に表示されている画像がスクロールされる。

なお、縮小全体画像２２−３０２と拡大位置マーク２２−３０３は、例えばズームバー２８またはＯＫボタン２７の操作が中止されてから一定時間（例えば３〜５秒）経過すると、拡大表示モードの解除とともに、消去される（非重ね合わせ状態に戻される）。

また、上述した動画再生中の部分拡大表示は、動画再生を一時的に停止（ポーズ）した状態においても同様に実行される。これにより、例えば拡大すべき画像すなわち拡大対象を特定する際の操作性も向上される。

さらに、拡大画像が表示されている間（あるいは画像再生中のズームバー２８の操作に引き続いて）ズームバー２８が［Ｔ］側に移動されることで、拡大率（拡大倍率）が増加される。また、ズームバー２８が［Ｗ］側に移動された場合には、拡大率が減少される。なお、拡大率が所定の倍率よりも、さらに増大される（ズームバー２８が［Ｔ］側に移動される）と、図４により以下に説明する画像（拡大縮小）処理回路において、転送可能な画像のうちの最も拡大率の大きさ画像あるいは所定の拡大率の画像から、一時的に、画素補間により拡大画像が生成される。

図４に、図３に示した動画再生中の画像の任意の領域を拡大表示可能とする構成と信号の流れを示す。なお、図２により既に説明した構成には同じ符号を付して、詳細な説明を省略する。図１と同一のものは同一符号を付けている。また、ここでは、所定の時間内に任意の個数（枚数）の画像が連続して存在する「連写画像」についても『動画（動画像）』として表現する。

先ず、［Ａ］において、ＨＤＤ１０５（あるいはメモリカード１０６）から出力されたＭＰＥＧ圧縮された再生ストリーミング信号は、ＳＤＲＡＭ（メモリ回路）１０４のマップ４０１上に転送される。

続いて、［Ｂ］および［Ｃ］において、圧縮／伸長部（ＭＰＥＧコーデック）１０３によりデータがデコードされ、ビデオ表示用のＹＵＶ信号に変換されて、ＳＤＲＡＭ１０４のマップ４０２上に、ＹＵＶ信号として転送される。

ＹＵＶ信号は、そのまま表示される場合は、ビデオインタフェース（Video I/F）およびＯＳＤ（On Screen Display）処理部１２１において、ＯＳＤ（ここでは図３（ａ）の表示２２−３０１の子画面２２−３０２の枠および拡大位置マーク２２−３０３の枠に対応するデータ）を付加され、ビデオデコーダ（Video Decoder）１０７により、ビデオ信号に変換され、液晶パネル駆動回路（LCD Driver）１０８を介してＬＣＤ２２に表示される。なお、外部に接続された表示装置に表示される場合、ビデオ出力（Video Out）端に出力される信号が利用可能である。

また、拡大表示に用いるＹＵＶデータを生成するため、ＹＵＶ信号が画像（拡大縮小）処理回路１３１に入力される［Ｄ］。

なお、画像処理（拡大縮小処理）回路１３１は、画像の拡大や縮小（子画面への全画面表示用）に用いるエンジンであり、高速処理が可能である。また、画質を高めるために、既存技術であるバイリニア（Bi-liner）やバイキュービック（Bi-cubic）等の補間処理やフィルタリング処理が可能である。これは、もともと静止画の拡大、縮小に用いられているものがほとんどである。

画像処理（拡大縮小処理）回路１３１において、拡大あるいは縮小された画像［Ｅ］，［Ｆ］は、それぞれ、ＳＤＲＡＭ（メモリ回路）１０４のマップ４０３と４０４に、格納される。

すなわち、本発明における再生画像の拡大あるいは縮小表示は、要求のある毎に画像を拡大し、または縮小して、拡大あるいは縮小表示に用いる画像を予め用意し、転送要求に従って順に転送（出力）するもので、シンプルかつ低コストである。なお、近年のハード構成（ＳＤＲＡＭ）の高速さ（処理速度の低減）によれば、標準的な大きさの画像サイズであれば、リアルタイムで処理できる。また、ＯＳＤ処理部１２１を介してＬＣＤ２２に表示されている画像（動画または連続した複数の画像）すなわち、図３（ａ）の表示２２−３０１の子画面２２−３０２の枠および拡大位置マーク２２−３０３の枠に対応するデータは、ＯＫボタン２７により「上下左右」への移動が指示（入力）されることにより、逐次移動されるとともに、拡大位置マーク２２−３０３の枠が移動される範囲に応じて拡大される元画像の領域が変化され、対応する拡大あるいは縮小された画像［Ｅ］，［Ｆ］が順次ＳＤＲＡＭ１０４のマップ４０３と４０４に格納される。

以下、上述の工程によりＳＤＲＡＭ（メモリ回路）１０４のマップ４０３と４０４に、用意された拡大あるいは縮小された画像［Ｅ］，［Ｆ］は、ビデオインタフェースおよびＯＳＤ処理部１２１を介して、拡大表示画面と子画面とが、ＣＰＵ１１１にて計算された矩形領域のＯＳＤと重ね合わせられて、ビデオデコーダ１０７に出力される［Ｇ］。

従って、ＬＣＤ２２には、図３（ａ）に示したような、すでに拡大表示されている画像２２−３０１に、子画面２２−３０２と、子画面２２−３０２内に重ね合わせられて表示されるＯＳＤ２２−３０３された画像が表示される。このとき、表示部（ＬＣＤ２２）に表示された動画像に、その画像内の倍率変更部分を示す識別情報（２２−３０３）が重ね合わせられ、表示部に表示された動画像に表示される倍率変更部分（２２−３０３内の画像）に対応する拡大画像が形成される（上述のマップに、複数の画像が格納される）。また、ＯＫボタン２７を介して、表示部に表示された動画像に表示される倍率変更部分と表示部に表示された動画像の相対位置の変更が指示された場合に、倍率変更部分に対応する拡大画像が、変更が指示された相対位置に合わせて変更される。

なお、子画面２２−３０２は、画像（拡大縮小）回路１３１からの出力レベルを制御することにより、例えば半透明（拡大像２２−３０１の画像をあたかも透過した状態に表示可能に輝度や色が制御されて、重ね合わせ表示される）とすることも可能である。

なお、上述した拡大および縮小画像は、ＳＤＲＡＭ（メモリ回路）１０４との間の画像データ転送が高速であることを利用したもので、上記のように簡単な方法で、容易に実現できることが特徴である。

また、逆再生や、高速順逆送り再生、ステップ再生、スロー再生等のトリック再生も、本発明の画像処理（拡大縮小処理）回路１３１における、ビデオ表示用のＹＵＶのマップに格納するまでの処理であるため、拡大表示の状態を維持したままで、スクロールが可能である。

なお、この発明は、上述した実施の形態に限定されるものではなく、その実施の段階ではその要旨を逸脱しない範囲で種々な変形もしくは変更が可能である。また、個々の実施の形態は、可能な限り適宜組み合わせて実施されてもよく、その場合、組み合わせによる効果が得られる。例えば、記録媒体としてテープ状の媒体を用いるビデオカメラであっても、そのまま摘要可能である。また、主記録媒体が容量の大きなメモリカードであって、付随する記録媒体が任意の外部記録媒体である、主として静止画の撮影（記録）のためのスチルカメラであってもよい。

この発明の実施の形態が適用可能な動画および静止画ならびに音声等が記録可能なカメラ装置の一例を示す概略図。 図１に示したカメラ装置の制御系の一例を説明する概略ブロック図。 図１および図２に示したカメラ装置における動画再生時の拡大画像の表示例と、その表示位置および倍率の設定を説明する概略図。 図３に示した動画再生時の拡大画像および縮小された全体画像を表示するための信号処理系の一例を説明する概略図。

符号の説明

１…電子カメラ装置（カメラ装置）、１１…撮像レンズ、２２…ＬＣＤ（液晶モニタ、画像表示部）、２４…主電源スイッチ、２５…録画ボタン、２６…ジョグダイアル（設定選択部）、２７…決定ボタン（選択決定部）、２８…ズームバー（拡大指示部）、２９…メニューボタン、３１…ＣＣＤセンサ（画像信号生成部）、１０１…アナログ−デジタル変換部（デジタル信号出力部）、１０２…カメラ信号処理回路（画像処理部）、１０３…圧縮／伸長部（圧縮画像処理部、画像処理部）、１０４…メモリ回路（拡大縮小画像保持部、画像表示制御部）、１０５…ＨＤＤ（ハードディスク装置、記録媒体）、１０６…メモリカード（半導体メモリ、記録媒体）、１０７…ビデオデコーダ（画像表示制御部）、１０８…液晶パネル駆動回路（画像表示制御部）、１１１…ＣＰＵ（主制御部、信号処理部、画像表示制御部）、１２１…ビデオインタフェースおよびＯＳＤ（信号処理部、画像表示制御部）、１３１…画像（拡大縮小）処理部（信号処理部、画像拡大処理部、画像縮小処理部、拡大縮小制御部）。

Claims (4)

1. 画像を保持する記録部と、
   前記記録部に保持されている動画像を表示する表示部と、
   前記表示部に表示された動画像に、その画像内の倍率変更部分を示す識別情報を重ね合わせる表示処理部と、
   前記表示部に表示された動画像に表示される前記倍率変更部分に対応する拡大画像を提供するために前記記録部が保持する全画面用の画像から拡大画像を生成するとともにその拡大画像が全体画像のどの部分の画像であるかを表示するための縮小画像を生成する画像拡大縮小処理部と、
   要求のある毎に前記画像拡大縮小部が形成した拡大画像または前記画像拡大縮小部が形成した縮小画像を、前記記録部に順に転送することにより、前記表示部に表示された動画像に表示される前記倍率変更部分と前記表示部に表示された動画像の相対位置の変更が指示された場合に、前記倍率変更部分に対応する拡大画像を前記変更が指示された相対位置に合わせて変更する表示制御部と、
   を有することを特徴とするカメラ装置。
2. 前記表示制御部は、逆再生や、高速順逆送り再生、ステップ再生、スロー再生等の要求のある毎に、前記画像拡大縮小部が形成した拡大画像または前記画像拡大縮小部が形成した縮小画像を、前記記録部に順に転送することを特徴とする請求項１記載のカメラ装置。
3. 前記表示制御部は、要求のある毎に、前記表示部に表示された動画像の相対位置を変化させた前記画像拡大縮小部が形成した拡大画像または前記画像拡大縮小部が形成した縮小画像を、前記記録部に順に転送することを特徴とする請求項１記載のカメラ装置。
4. 画像保持部から出力され、圧縮状態の再生ストリーミング信号を第１のマップ上に転送し、
   転送された再生ストリーミング信号をデコードし、ＹＵＶ信号に変換して、第２のマップ上に全画面表示用のＹＵＶ信号として転送し、
   全画面表示用のＹＵＶ信号から、拡大表示用の拡大画像あるいは縮小表示用の縮小画像を生成して第３または第４のマップ上に転送し、
   再生要求に応じて、第３または第４のマップ上に転送された拡大画像あるいは縮小画像を、縮小画像により拡大画像が全体画像のどの部分の画像であるかを表示するよう、再生要求に従い計算された出力位置を示す表示用領域に、順に転送することにより、所定時間内に複数連続して出力する
   ことを特徴とする画像処理方法。

Images