JP4981648B2

JP4981648B2 - 画像処理装置及びその制御方法

Info

Publication number: JP4981648B2
Application number: JP2007329207A
Authority: JP
Inventors: 明光吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-12-20
Filing date: 2007-12-20
Publication date: 2012-07-25
Anticipated expiration: 2027-12-20
Also published as: JP2009152894A

Description

本発明は、全体画像と拡大画像とを同時に表示すると共に、いずれかの画像をライブビュー表示にする画像処理技術に関する。

近年、急速に普及しつつあるデジタルカメラにおいて、撮影した画像を撮影直後に再生表示して視認できることが、ユーザにとって大きなメリットになっている。また、撮影した画像を再生表示する際に、拡大表示を行う機能は、撮影した被写体のピントを速やかに視認する際に非常に有用である。再生表示の際に、カメラの撮影モードに応じて、全体画像表示か拡大画像表示かを自動的に切り替えることが可能なデジタルカメラが提案されている（例えば、特許文献１参照。）。

また、デジタルスチルカメラ等の動画像を撮影する撮像装置をＵＳＢ等の接続手段を用いてＰＣへ接続し、カメラからの入力動画像をＰＣ側でリアルタイムに再生することが行われている。リアルタイムでの再生が可能であるため、構図や露出、ピントの確認などを、ユーザが円滑に行うことが可能になる。
特開２００５−３０３４０８号公報

カメラからの入力した動画像をＰＣ側でリアルタイムに再生する画像処理装置において、ユーザが行った操作を速やかに表示に反映させることが重要となる。全体画像表示モードと任意の倍率の拡大画像表示モードの２つのモードを切り替えて表示することが可能である場合、ユーザ操作をどちらの表示モードに反映して表示するのが好適かは、ユーザが行った操作により異なる。例えば、ユーザがカメラのオートフォーカス機能を利用してピント調節を行ったときは、表示モードを拡大画像表示モードに切り替えて、測距点付近の領域を拡大表示するのが望ましいと考えられる。

本発明は、ユーザが所望とする処理結果を速やかにライブビュー表示することを可能にし、利便性の向上を図る技術を実現する。

上記課題を解決するために、本発明の画像処理装置は、被写体の光学像を撮像する撮像装置からリアルタイムで出力される画像を表示装置にライブビュー表示する画像処理装置であって、前記表示装置の第１の表示領域に前記撮像装置の画角全体をライブビュー表示する第１の表示モードと、前記表示装置の第２の表示領域に前記撮像装置の画角の一部をライブビュー表示する第２の表示モードと、を実行する表示制御手段と、前記第１の表示モードまたは第２の表示モードでライブビュー表示された画像に対するユーザ操作を受け付ける入力手段と、を有し、前記入力手段によるユーザ操作が、前記撮像装置の露出、ホワイトバランス、画像処理パラメータのいずれかの設定変更操作である場合、前記表示制御手段は、前記第１の表示モードにより前記第１の表示領域にライブビュー表示を行うとともに前記第２の表示領域に前記第２の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御し、前記入力手段によるユーザ操作が、前記撮像装置の撮影レンズのフォーカス操作である場合、前記表示制御手段は、前記第２の表示モードにより前記第２の表示領域にライブビュー表示を行うとともに前記第１の表示領域に前記第１の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御する。

また、本発明の画像処理装置の制御方法は、被写体の光学像を撮像する前記撮像装置からリアルタイムで出力される画像を表示装置にライブビュー表示し、前記表示装置の第１の表示領域に前記撮像装置の画角全体をライブビュー表示する第１の表示モードと、前記表示装置の第２の表示領域に前記撮像装置の画角の一部をライブビュー表示する第２の表示モードと、を実行する画像処理装置の制御方法であって、入力手段によるライブビュー表示された画像に対するユーザ操作が、前記撮像装置の露出、ホワイトバランス、画像処理パラメータのいずれかの設定変更操作である場合、前記第１の表示モードにより前記第１の表示領域にライブビュー表示を行うとともに前記第２の表示領域に前記第２の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御し、前記入力手段によるライブビュー表示された画像に対するユーザ操作が、前記撮像装置の撮影レンズのフォーカス操作である場合、前記第２の表示モードにより前記第２の表示領域にライブビュー表示を行うとともに前記第１の表示領域に前記第１の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御する。

本発明によれば、ユーザが行った操作を反映させる表示モードを、全体画像を表示する第１の表示モードと拡大画像を表示する第２の表示モードのいずれかに適切に切り替えられる。このため、ユーザが意識することなく所望とする処理結果を速やかに視認することができる。

以下、本発明に係る一実施形態について図面を参照して詳細に説明する。

尚、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。

図１は、本発明に係る実施形態の撮像装置の構成を示すブロック図である。

図１において、１０はデジタルカメラ、１００は撮影レンズである。撮影レンズ１００に入射した光線は、絞り１０１、シャッター１０３を通過し、撮像素子１０４によって光学像から電気信号に変換される。撮像素子１０４は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色透過フィルタがピクセル単位に市松上に配列（ベイヤー配列）されたエリアセンサとして構成され、３６００（Ｈ）×２４００（Ｖ）の画素からなる。

撮像素子１０４は、図４に示す３種類の読み出しモードによる画素データの読み出しが可能である。読み出しモード１は、全画素データを読み出すモードである。読み出しモード１は、静止画撮影時の読み出しモードとして使用される。読み出しモード２は、撮像素子１０４の任意の領域の画素データを読み出すモードで、ライブビュー中の拡大画像表示モードの際に使用される。読み出しモード３は、ライブビュー中の全体画像表示モードの際に使用される。水平方向は図３に示すように同色の３画素加算を行い、垂直方向は３ラインずつの読み出しを行い、１２００（Ｈ）×８００（Ｖ）の画像データの読み出しを行う。なお、ライブビューとは、撮影に先立って、撮像素子１０４で取得した被写体の画像をリアルタイムにカメラの背面等に設けられた液晶モニタに表示させる機能である。

１０５は撮像素子１０４から出力されるアナログ画像信号をディジタル信号に変換するＡ／Ｄ変換器である。１０７は撮像素子１０４、Ａ／Ｄ変換器１０５にクロック信号や制御信号を供給するタイミング制御回路であり、メモリ制御回路１０８及びシステム制御回路１０６によって制御される。

１０９は画像処理回路であり、Ａ／Ｄ変換器１０５からのデータ或いはメモリ制御回路１０８からのデータに対して、所定の信号処理、例えばホワイトバランス調整、画素補間処理、階調処理、色変換処理等を行う。また、画像処理回路１０９は、撮像した画像データを用いて所定の演算処理を行う。そして、システム制御回路１０６は、得られた演算結果に基づいて露光制御回路１０２、フォーカス制御回路１１３に対して制御を行う、ＴＴＬ方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理を行っている。

１０８はメモリ制御回路であり、Ａ／Ｄ変換器１０５、タイミング制御回路１０７、画像処理回路１０９、メモリ１１０、圧縮・伸長回路１１１を制御する。

Ａ／Ｄ変換器１０５のデータが画像処理回路１０９、メモリ制御回路１０８を介して、或いは、Ａ／Ｄ変換器１０５のデータが直接メモリ制御回路１０８を介して、メモリ１１０に書き込まれる。

１１０は撮影した静止画像やライブビュー表示をするための動画像を格納するためのメモリであり、所定枚数の静止画像や動画像を格納するのに十分な記憶量を備えている。また、メモリ１１０はシステム制御回路１０６の作業領域としても使用することが可能である。１１１は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１１０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１０に書き込む。

１０２は絞り１０１とシャッター１０３を制御する露光制御回路である。１１３は光学系としての撮影レンズ１００のフォーカシングを制御するフォーカス制御回路、１１２は撮影レンズ１００のズーミングを制御するズーム制御回路である。露光制御回路１０２、フォーカス制御回路１１３はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路１０９によって演算した演算結果に基づき、システム制御回路１０６が露光制御回路１０２、フォーカス制御回路１１３を制御する。

１０６はデジタルカメラ１０全体を制御するシステム制御回路である。

１１４は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

１１５はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。１１６はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなる。先ず、撮像素子１０４から読み出した信号をＡ／Ｄ変換器１０５、メモリ制御回路１０８を介してメモリ１１０に画像データを書き込む露光処理、画像処理回路１０９やメモリ制御回路１０８での演算を用いた現像処理を行う。更に、メモリ１１０から画像データを読み出し、圧縮・伸長回路１１１で圧縮を行い、記録媒体１１７に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

また、圧縮・伸長回路１１１は、ＰＣ（パーソナルコンピュータ）１２０がＭＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）でライブビュー表示可能とするために、現像処理された画像データに対してＪＰＥＧ変換処理を行う。

デジタルカメラ１０は、ＰＣその他の外部機器と接続するための通信手段として外部インタフェース１１９を備えている。そして、デジタルカメラ１０は、この外部インタフェース１１９を介して、デジタルカメラ１０から外部のＰＣ１２０に圧縮・伸長回路１１１によって生成された静止画像や動画像を転送し、表示モニタ１２１に表示することができる。また、外部インタフェース１１９を介して、外部のＰＣ１２０から露光制御回路１０２、フォーカス制御回路１１３、ズーム制御回路１１２等のデジタルカメラ１０の制御を行うこともできる。

図２はデジタルカメラ１０をＰＣ１２０から制御するためのアプリケーションソフトウェアのＵＩ（ユーザインタフェース）画面２０を例示する図である。

図２において、２００は、撮影レンズ１００の画角全体をライブビュー表示するための全体画像表示領域（第１の表示領域）であり、２０１は撮影レンズ１００の画角の一部をライブビュー表示するための拡大画像表示領域（第２の表示領域）である。拡大画像表示領域２０１は、全体画像表示領域２００内で、ＰＣ１２０に接続されたマウスなどのポインティングデバイスによるドラッグ操作で範囲を設定することができる。設定された範囲は、全体画像表示領域２００内に拡大表示設定範囲２０７として点線で表示される。拡大表示設定範囲２０７が既に設定されている場合は、範囲内の領域を指定してドラッグ操作を行うことで拡大表示設定範囲２０７を移動させることもできる。

ＰＣ１２０は、デジタルカメラ１０から出力される画像をカメラの画角全体を全体画像表示領域２００に表示する全体画像表示モード（第１の表示モード）による表示が可能である。更に、ＰＣ１２０は、カメラの画角の一部を拡大画像表示領域２０１に表示する拡大画像表示モード（第２の表示モード）による表示が可能である。

また、ＰＣ１２０は、全体画像表示領域２００の表示と拡大画像表示領域２０１の表示のいずれかをカメラからリアルタイムに出力されるライブビュー画像を表示するライブビュー表示に切り替え可能である（表示モード切り替え手段）。ＰＣ１２０が全体画像表示モードにてライブビュー画像を表示するとき、デジタルカメラ１０は読み出しモード３で撮像素子１０４から画素データを読み出してＰＣ１２０へ出力している。

ＰＣ１２０が拡大画像表示モードにてライブビュー画像を表示するとき、デジタルカメラ１０は読み出しモード２で撮像素子１０４から画素データを読み出してＰＣ１２０へ出力している。したがって、ＰＣ１２０が全体画像表示モードにてライブビュー画像を表示するか、拡大画像表示モードにてライブビュー画像を表示するかによって、デジタルカメラ１０は撮像素子１０４の読み出しモードを切り替えることになる。

即ち、本実施形態においては、全体画像表示領域２００、拡大画像表示領域２０１の一方のみの表示領域にライブビュー表示が行われる。そして、ライブビュー表示されていない他方の表示領域には、最後に表示した画像が静止画像として表示される。

本実施形態のＵＩ画面には、ユーザ操作を受け付ける入力手段としての操作部２０２〜２０６が表示される。

２０２は、画像処理パラメータ変更部である。画像特性パラメータ変更部２０２ａでは、大まかな画像特性、例えばポートレート写真向けの画像特性や風景写真向けの画像特性などを変更することができる。詳細画像パラメータ変更部２０２ｂでは、画像特性パラメータ変更部２０２ａよりも詳細な画像特性、例えば、コントラスト、シャープネス、色の濃さ、色あいなどを変更すること（設定変更操作）ができる。

２０３は、ホワイトバランス変更部である。ホワイトバランスモード選択部２０３ａでは、ＡＷＢ（オートホワイトバランス）モード、太陽光モード、白熱電球モードなどのデジタルカメラ１０に設定があるホワイトバランスモードを選択すること（設定変更操作）ができる。また、マウスなどのポインティングデバイスで、クリックホワイトバランス（ＷＢ）ボタン２０３ｂを押下した後、全体画像表示領域２００又は拡大画像表示領域２０１をクリックすることで、クリックした点の周辺領域の色を白くするＷＢゲインを設定できる。

２０４は露出補正操作部であり、スライダーバーを左右に移動させることで、露光制御回路１０２を制御して露出を変更すること（設定変更操作）ができる。

２０５はズーム操作部であり、ズーム量に応じてズーム制御回路１１２により撮影レンズ１００の画角を変更することができる。

２０６はフォーカス操作部である。オートフォーカスボタン２０６ａ、マニュアルフォーカスボタン２０６ｂによりそれぞれ撮影レンズ１００のオートフォーカス動作、マニュアルフォーカス動作が可能である。

次に、本実施形態の画像処理装置の動作について図５のフローチャートを参照して説明する。

図５において、デジタルカメラ１０をＵＳＢケーブルによりＰＣ１２０に接続した状態で起動すると、ＰＣ１２０上でデジタルカメラ１０が認識されアプリケーションソフトウェアが起動する
デジタルカメラ１０は、外部インタフェース１１９を介して、ＰＣ１２０に全体画像表示モードでライブビュー画像の転送を開始する（Ｓ１０１）。

ＰＣ１２０に接続されたマウスのドラッグ操作により、拡大表示設定範囲２０７が設定もしくは変更された場合（Ｓ１０２）は、拡大画像表示モードに遷移する（Ｓ１１０）。Ｓ１１０では、拡大表示設定範囲２０７に相当する領域の全画素データを撮像素子１０４から読み出して画像処理を行い、拡大画像表示領域２０１にライブビュー画像を表示する。ユーザが拡大表示設定範囲２０７を設定または変更した場合は、全体画像表示モードであっても拡大画像表示モードに強制的に切り替えることで、設定が反映された後に、ユーザが見たいと思われる被写体のピントチェック等を速やかに確認することができる。

拡大表示設定範囲２０７が設定もしくは変更されていない場合（Ｓ１０２）は、フォーカス操作部２０６がユーザによって操作された場合（Ｓ１０３）、Ｓ１０８において拡大表示設定範囲２０７が設定されたか判定する。拡大表示設定範囲２０７が設定されている場合は、Ｓ１１０に移行する。拡大表示設定範囲２０７が設定されていない場合は、Ｓ１０９に移行する。オートフォーカスボタン２０６ａによるフォーカス操作の場合には、合焦した測距点周辺の領域を拡大表示設定範囲２０７に設定する。マニュアルフォーカスボタン２０６ｂによるフォーカス操作の場合には、画角の中心領域を拡大表示設定範囲２０７に設定する。

次に、ユーザにより画像処理パラメータ変更部２０２が操作されて画像処理パラメータが変更された場合（Ｓ１０４）、Ｓ１０１に移行し、全体画像表示モードに切り替える。ユーザが画像処理パラメータを変更した場合、拡大画像表示モードであっても全体画像表示モードに強制的に切り替えることによって、パラメータの変更が反映された後、ユーザが最優先で見たいと思われる画角全体の色調を速やかに確認することができる。ユーザによりホワイトバランス変更部が操作されてホワイトバランスが変更された場合（Ｓ１０５）、または、露出補正操作部２０４が操作されて露出補正がされた場合（Ｓ１０６）も同様に、全体画像表示モードに移行する。

ライブビューは、シャッタースイッチＳＷ１やシャッタースイッチＳＷ２の押下によって終了する（Ｓ１０７）。

尚、上記実施形態においては、ユーザからの操作により表示モードが切り替わった後、ユーザからの操作が行われない限りは、表示モードの変更が行われない。しかしながら、ユーザによる操作前の表示モードに応じて、表示モードを切り替えてから所定時間後に元の表示モードに戻してもよい。例えば、拡大画像表示モードでライブビュー表示中に、ユーザからの操作により一旦全体画像表示モードに切り替わった場合、所定時間後に再び拡大画像表示モードに切り替わるように制御を行ってもよい。

［他の実施形態］
本発明の目的は次のような方法によっても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

更に、次のような場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明に係る実施形態の画像処理装置の構成を示すブロック図である。本実施形態に係るアプリケーションソフトウェアによるＵＩ画面を例示する図である。本実施形態の撮像素子からの画素データの読み出し方法を説明する図である。本実施形態の撮像素子からの画素データの読み出しモードを説明する図である。本実施形態の画像処理装置の動作を示すフローチャートである。

符号の説明

１０デジタルカメラ
１００撮影レンズ
１０１絞り
１０２露光制御回路
１０３シャッター
１０４撮像素子
１０５Ａ／Ｄ変換器
１０６システム制御回路
１０７タイミング制御回路
１０８メモリ制御回路
１０９画像処理回路
１１０メモリ
１１１圧縮・伸長回路
１１２ズーム制御回路
１１３フォーカス制御回路
１１４不揮発性メモリ
１１５シャッタースイッチＳＷ１
１１６シャッタースイッチＳＷ２
１１７記録媒体
１１９外部インタフェース
１２０ＰＣ
１２１表示モニタ
２０ＵＩ画面
２００全体画像表示領域
２０１拡大画像表示領域
２０２画像処理パラメータ変更部
２０２ａ画像特性パラメータ変更部
２０２ｂ詳細画像パラメータ変更部
２０３ホワイトバランス変更部
２０３ａホワイトバランスモード選択部
２０３ｂクリックホワイトバランスボタン
２０４露出補正操作部
２０５ズーム操作部
２０５ａ望遠ズームボタン
２０６ｂ広角ズームボタン
２０６フォーカス操作部
２０６ａオートフォーカスボタン
２０６ｂマニュアルフォーカスボタン
２０７拡大表示設定範囲

Claims

被写体の光学像を撮像する撮像装置からリアルタイムで出力される画像を表示装置にライブビュー表示する画像処理装置であって、
前記表示装置の第１の表示領域に前記撮像装置の画角全体をライブビュー表示する第１の表示モードと、前記表示装置の第２の表示領域に前記撮像装置の画角の一部をライブビュー表示する第２の表示モードと、を実行する表示制御手段と、
前記第１の表示モードまたは第２の表示モードでライブビュー表示された画像に対するユーザ操作を受け付ける入力手段と、を有し、
前記入力手段によるユーザ操作が、前記撮像装置の露出、ホワイトバランス、画像処理パラメータのいずれかの設定変更操作である場合、前記表示制御手段は、前記第１の表示モードにより前記第１の表示領域にライブビュー表示を行うとともに前記第２の表示領域に前記第２の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御し、前記入力手段によるユーザ操作が、前記撮像装置の撮影レンズのフォーカス操作である場合、前記表示制御手段は、前記第２の表示モードにより前記第２の表示領域にライブビュー表示を行うとともに前記第１の表示領域に前記第１の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御することを特徴とする画像処理装置。
被写体の光学像を撮像する前記撮像装置からリアルタイムで出力される画像を表示装置にライブビュー表示し、前記表示装置の第１の表示領域に前記撮像装置の画角全体をライブビュー表示する第１の表示モードと、前記表示装置の第２の表示領域に前記撮像装置の画角の一部をライブビュー表示する第２の表示モードと、を実行する画像処理装置の制御方法であって、
入力手段によるライブビュー表示された画像に対するユーザ操作が、前記撮像装置の露出、ホワイトバランス、画像処理パラメータのいずれかの設定変更操作である場合、前記第１の表示モードにより前記第１の表示領域にライブビュー表示を行うとともに前記第２の表示領域に前記第２の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御し、前記入力手段によるライブビュー表示された画像に対するユーザ操作が、前記撮像装置の撮影レンズのフォーカス操作である場合、前記第２の表示モードにより前記第２の表示領域にライブビュー表示を行うとともに前記第１の表示領域に前記第１の表示モードにより最後にライブビュー表示を行った画像を静止画像として表示するよう制御することを特徴とする画像処理装置の制御方法。