WO2007145004A1

WO2007145004A1 - 撮像装置

Info

Publication number: WO2007145004A1
Application number: PCT/JP2007/054712
Authority: WO
Inventors: Manabu Higuchi
Original assignee: Panasonic Corporation
Priority date: 2006-06-13
Filing date: 2007-03-09
Publication date: 2007-12-21
Also published as: EP2026565A4; CN101467439A; JP5011289B2; US20090189993A1; EP2026565A1; JPWO2007145004A1; US8264586B2; CN101467439B

Abstract

　複数の解像度の画像出力が可能な撮像装置を提供する。撮像装置は、撮像デバイス１０３により被写体を撮像し画像信号を生成する撮像部１０１と、撮像部１０１により撮影された画像信号の解像度を変換し出力する解像度変換部１１０とを備える。解像度変換部１１０は、撮像部１０１から入力された画像を複数の異なるサイズの画像に縮小し、撮像部１０１からの入力画像サイズの中に複数のサイズの縮小画像を填め込んだ填め込み画像を出力する。これにより、同時に複数の画像サイズの画像を出力することができる。

Description

明細書

撮像装置

技術分野

[0001] 本発明は、複数の解像度の画像を出力する撮像装置に関するものである。

背景技術

[0002] 従来、撮像装置にお!、ては、センサーの駆動方法を変更し、異なる解像度の画像を出力する技術が知られている。このような技術は、例えば、特開 2003— 134386 号公報に開示されている。

また、解像度変換回路を搭載した撮像装置も、例えば、特開 2004— 112579号公報に開示されている。

[0003] 図 15は、従来の撮像装置の構成図を示している。図示のように、撮像装置は、撮像回路 1501、記憶回路 1502、 YC処理回路 1503、解像度変換回路 1504、圧縮変換回路 1505、記録回路 1506および表示回路 1507を備えている。 YC処理回路 1503は、記憶回路 1502に記憶された RAWデータを読み出して YCデータに変換し、解像度変換回路 1504に出力する。

[0004] 解像度変換回路 1504は、 YC処理回路 1503で生成された入力画像に対して解像度変換処理を施すことにより、表示用画像と記録用画像の二つの画像データを生成する。解像度変換回路 1504は、それら二つの画像データを記憶回路 1502の二つの領域にそれぞれ書き込む。また、ユーザーは、入力画像、表示用画像および記録用画像の画素数とライン数を予め解像度変換回路 1504の内部に設定する。

[0005] 解像度変換回路 1504は、入力画像を 1ライン毎に処理するように構成されている。

解像度変換回路 1504は、入力画像を 1ライン分処理する毎に、表示用画像と記録用画像のどちらを生成するかを決定して画像生成処理を行う。例えば、表示用画像のライン Lが生成された後、解像度変換回路 1504が、表示用画像と記録用画像のどちらを生成するか決定し、その結果として仮に記録用画像のライン Mを生成したとする。その後さらに、解像度変換回路 1504は、表示用画像のライン (L+ 1)と記録用画像のライン (M+ 1)のどちらを生成するかを決定する。 [0006] し力しながら、最初に説明した従来の撮像装置においては、センサーの駆動を変更することによって複数の解像度の画像が得られる。この場合、同時に異なる解像度の複数の画像を出力することは出来ない。もう一つの従来の撮像装置においては、解像度変換回路が、複数の異なる解像度の画像を記憶回路に保存し、圧縮変換回路が複数の画像をメモリから読み出し圧縮を行う。この場合、解像度変換回路が画像データを出力した記憶回路に圧縮変換回路がアクセスするように撮像装置を構成する必要がある。ひとつの記憶回路に対して複数の回路がアクセスすることになり、メモリアクセスの調停が必要となるので、このような構成を避けることが望まれる。

発明の開示

発明が解決しょうとする課題

[0007] 本発明は上記背景の下でなされたものである。本発明の目的は、異なる解像度の複数の画像を同時に出力可能な好適な撮像装置を提供することにある。

課題を解決するための手段

[0008] 本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、を備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。

[0009] 本発明の別の態様は、入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成する。

[0010] 以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図面の簡単な説明

[0011] [図 1]図 1は、本発明の第 1実施形態における撮像装置の構成図 [図 2]図 2は、本発明の第 1実施形態における撮像装置の水平 LPF部の構成図 [図 3]図 3は、本発明の第 1実施形態における撮像装置の垂直 LPF部の構成図 [図 4]図 4は、本発明の第 1実施形態における撮像装置の解像度変換部の水平処理における動作を示す説明図

[図 5]図 5は、本発明の第 1実施形態における撮像装置の解像度変換部の垂直処理における動作を示す説明図

[図 6A]図 6Aは、本発明の第 1実施形態における撮像装置の解像度変換部の入力画像を示す説明図

[図 6B]図 6Bは、本発明の第 1実施形態における撮像装置の解像度変換部の出力画像を示す説明図

[図 7]図 7は、本発明の第 2実施形態における撮像装置の解像度変換部の構成図 [図 8]図 8は、本発明の第 2実施形態における解像度変換部の動作を示す説明図 [図 9A]図 9Aは、本発明の第 2実施形態において、原画像が選択される時の出力画像の説明図

[図 9B]図 9Bは、本発明の第 2実施形態において、填め込み画像が選択される時の出力画像の説明図

[図 10]図 10は、本発明の第 3実施形態における撮像装置の構成図

[図 11]図 11は、本発明の第 3実施形態における符号ィ匕部の動作を示すフロー図

[図 12]図 12は、本発明の第 4実施形態における符号ィ匕部の動作を示すフロー図

[図 13]図 13は、本発明の第 5実施形態における撮像装置の構成図

[図 14]図 14は、本発明の第 5実施形態における符号ィ匕部の動作を示すフロー図

[図 15]図 15は、従来の撮像装置の構成図

符号の説明

101 撮像部

110 解像度変換部

1001 符号化部

1004 通信ネットワーク部

発明を実施するための最良の形態 [0013] 以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。代わりに、発明の範囲は添付の請求の範囲により規定される。

[0014] 本発明の撮像装置は、撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、撮像部により撮影された画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部とを備え、解像度変換部は、撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力する。この構成により、同時に異なるサイズの複数の画像を出力することが可能となり、異なる解像度の複数の画像を出力することが可能となる。

[0015] また、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されてよい。解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力することにより、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力してよい。この構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。

[0016] また、解像度変換部は、填め込み画像の出力と、撮像部から入力されたサイズのままの原画像出力との切り替えを行うとともに、填め込み画像と原画像とのどちらの画像を出力して、るかを示す付加情報を、画像情報に付加して出力してょヽ。

[0017] この構成は、解像度変換部が填め込み画像と原画像との双方の画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像かの判断が可能となる。これにより、画像信号を受け取った側で、填め込み画像力ゝらの縮小画像の取出しが必要カゝ否かの判断が可能となる。

[0018] また、撮像装置は、解像度変換部力ゝらの画像を入力し、圧縮符号化を行!ヽ圧縮画像情報を出力する圧縮符号化部と、圧縮符号化部からの圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備えてよい。圧縮符号化部は、解像度変換部からの填め込み画像から複数の縮小画像を取り出し、符号ィ匕を行ってよ!ヽ。

[0019] この構成により、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号ィ匕およびネットワーク網への出力を行うことが可能となる。

[0020] また、圧縮符号化部は、解像度変換部からの画像に付加された付加情報により、入力されている画像の判別を行ってよい。圧縮符号化部は、判別結果により、縮小画像の取り出し処理の有無を判断してよい。そして、圧縮符号化部は、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行ってよぐ取り出し処理を行わな V、場合は入力画像の符号ィ匕を行ってょ、。

[0021] この構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号ィ匕およびネットワーク網への出力を行うことが可能となる。

[0022] さらに、圧縮符号化部は、填め込み画像力複数のサイズの画像を取り出し符号ィ匕を行う過程で、或るサイズの画像の符号ィ匕結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整してょヽ。

[0023] この構成は、符号ィ匕後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号ィ匕における量子化パラメータと符号ィ匕後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。

[0024] さらに、圧縮符号化部は、複数の異なるサイズの画像の符号ィ匕を行うときに、小さいサイズの画像力も順番に符号ィ匕を行ってよ、。

[0025] この構成は、符号ィ匕後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号ィ匕を行うことにより、処理時間が力かる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号ィ匕処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。

[0026] さらに、圧縮符号化部は、画像サイズ毎に符号ィ匕するフレームレートを変更してよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号ィ匕が可能となる。また、小さい画像サイズは高フレームレートで符号化し、大きい画像サイズは低フレームレートで符号ィ匕することにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。

[0027] さらに、圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であってよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号化方式での符号化が可能となる。

[0028] 本発明は上述の撮像装置の態様に限定されない。本発明の別の態様は、例えば、上記の撮像装置で実行される解像度変換を行う画像処理方法である。撮像装置に関して説明された各種の要素は、画像処理方法にも適用されてよい。

[0029] 以下、本発明の実施の形態について、図面を用いて説明する。

[0030] "第 1実施形態"

本発明の第 1実施形態の撮像装置について図 1〜図 6を用いて説明する。図 1は、本実施形態の撮像装置の構成を示している。図 2は、水平 LPF部の構成を示し、図 3は、垂直 LPF部の構成を示している。また、図 4は、解像度変換部の水平処理における動作を示し、図 5は、解像度変換部の垂直処理における動作を示している。図 6 Aおよび図 6Bは、解像度変換部の入力画像および出力画像を示して!/、る。

[0031] 図 1に示すように、撮像装置は、撮像部 101と解像度変換部 110とを備えている。

撮像部 101が、撮像デバイスにより被写体を撮像し画像信号を生成する。そして、解像度変換部 110が、撮像部 101により撮影された画像信号の解像度を変換し、変換された画像信号を出力する。撮像部 101は、レンズ 102、 CCD103、 CDS/AGC 部 104、 AZD部 105、デジタル信号処理部 106および駆動制御部 107を備えている。解像度変換部 110は、制御部 111、第 1の水平 LFP部 112、第 1の FIFO部 113 、第 2の水平 LPF部 114、第 2の FIFO部 115、 MUX部 116および垂直 LPF部 117 を備えている。

[0032] 図 1において撮像部 101では、レンズ 102を通った光力 CCD103により光電変換され、アナログ映像信号が生成される。 CDSZAGC部 104では、 CDS(correlate d ouble sampling)およびゲインコントロールが画像信号に施される。 AZD部 105で画像信号がアナログ信号からデジタル信号に変換されて、デジタル画像信号が生成される。デジタル信号処理部 106では、ホワイトバランス制御、ガンマ変換等の周知のカメラ信号処理が行われ、入力信号が輝度信号 (Y)、色差信号 (Cb、 Cr)の画像信号 109に変換される。画像信号 109は、同期信号 108と共に出力される。駆動制御部 1 07は、 CCD103の駆動の制御を行う。

[0033] 撮像部 101で生成された画像信号 109は、解像度変換部 110において、水平 LP F部 112に入力される。水平 LFP部 112で画像信号に対して水平方向のローパスフィルタ処理が行われ、処理された信号力FIFO部 113に書き込まれる。 FIFO部 113 力も読み出された信号は、水平 LPF部 114に入力される。水平 LPF部 114で水平方向のローパスフィルタ処理が行われ、処理された信号力 SFIFO部 115に書込まれる。 FIFO部 115から読み出された信号および FIFO部 113から読み出された信号は、 MUX部 116に入力される。 MUX部 116でどちらかの信号が選択され、選択された信号が垂直 LPF部 117に入力される。垂直 LPF部 117では、垂直方向のローパスフィルタ処理が行われ、出力画像信号が出力される。

[0034] 制御部 111は、入力された同期信号 108から、 FIFO部 113への書込みのためのライトイネ一ブル信号 118、 FIFO部 113からの読出しのためのリードィネーブル信号 1 19、 FIFO部 115への書込みのためのライトイネーブル信号 120、 FIFO部 115からの読出しのためのリードィネーブル信号 121、 MUX部 116に対しての MUX選択信号 122 (セレクト信号）、垂直 LPF部 117に対してのフィルタの係数選択信号 123を生成する。また、制御部 111は、出力同期信号 124を生成する。これら制御信号は該当する構成要素へとそれぞれ出力される。

[0035] 図 2に示すように、水平 LPF部 112ぉょび水平0^部114では、入力画像信号に対して、 4つのフリップフロップ 201による遅延処理が施されて、 1クロック遅延、 2クロック遅延、 3クロック遅延および 4クロック遅延の信号が作られる。入力画像信号と 4クロック遅延信号が加算器 202により加算される。また、 1クロック遅延信号と 3クロック遅延信号が、もう一つの加算器 202により加算される。各々の加算器 202からの出力力フィルタ係数部 203から出力されるフィルタ係数と乗算器 204で乗算され、乗算された信号が加算器 205に出力される。 2クロック遅延の信号も、フィルタ係数部 303から出力されるフィルタ係数と乗算器 204により乗算され、加算器 205に出力される。加算器 205は、入力された 3つの信号を加算し、出力画像信号を出力する。このようにして、水平ローパスフィルタ処理が行われる。

[0036] 図 3に示すように、垂直 LPF部 117では、入力画像信号に対して、 4つのラインメモリ 301による遅延処理が施されて、 1ライン遅延、 2ライン遅延、 3ライン遅延、 4ライン遅延の信号が生成される。入力画像信号と 4ライン遅延信号が、加算器 302により加算される。また、 1ライン遅延信号と 3ライン遅延信号が、もう一つの加算器 302により加算される。各々の加算器 302からの出力力フィルタ係数部 303から出力されるフィルタ係数と乗算器 304により乗算され、乗算された信号が加算器 305に出力される。 2ライン遅延信号も、フィルタ係数部 303から出力されるフィルタ係数と乗算器 304 により乗算され、加算器 305に出力される。加算器 305は、入力された 3つの信号を加算し、出力画像信号を出力する。このようにして垂直ローパスフィルタ処理が行われる。フィルタ係数部 303では、入力される係数制御信号に従って、出力するフィルタ係数を変更することが可能である。

[0037] 次に、図 4および図 5を用いて、撮像装置の動作を説明する。この例では、図 6Aの入力画像から、図 6Bの出力画像が生成される。

[0038] 水平方向の動作を説明すると、図 4に示すように、入力画像の水平有効画素数が 1 280であり、入力画像に対して水平 LPF部 112の出力は 2クロック遅延する。制御部 111は、その遅延を考慮した時点から、 FIFO部 113に対するライトイネーブル信号 1 18を 1クロック毎に有効にする。これにより水平方向の 640個の信号が FIFO部 113 に書き込まれる。また同時に、制御部 111は、 FIFO部 113に対するリードィネーブル信号 119を入力水平同期信号と同時タイミングに有効にし、 640クロック間有効にする。これにより、前ラインで書込まれた 640個のデータが読み出される。

[0039] FIFO部 113から読み出された信号は、水平 LPF部 114に入力される。水平 LPF 部 114は、 2クロック遅延で信号を出力する。制御部 111はその遅延分を考慮した時点から、 FIFO部 115に対するライトイネ一ブル信号 121を 1クロック毎に有効にする。これにより、水平方向の 320個の信号が FIFO部 115に書き込まれる。また、制御部 111は、 FIFO部 113のリードィネーブル信号が無効になった時点力 FIFO部 11 5のリードィネーブル信号 121を 320クロック間有効にする。これにより、制御部 111 は、このラインで書き込まれた 320個の信号を FIFO部 115から読み出す。

[0040] また制御部 111は、 MUX部 116に対して MUX選択信号 122を出力して MUX部 116を制御する。 MUX選択信号 122は、 FIFO部 113のリードイネ一ブルが有効になっている間は、 FIFO部 113からの信号を選択し、かつ、 FIFO部 115のリードイネ一ブル信号が有効になっている間は、 FIFO部 115からの信号を選択するように、 M UX部 116を制御する信号である。 MUX部 116は MUX選択信号 122に従つて信号を選択および出力する。制御部 111は、 MUX選択信号 122と同じ信号を垂直 LPF 部 117に対する係数選択信号 123として出力している。係数選択信号 123に従い、垂直 LPF部 117は、 FIFO部 113からの信号が入力されている間は、 1Z2間引き用のフィルタを画像信号にかけ、 FIFO部 115からの信号が入力されている間は、 1Z4 間弓 Iき用のフィルタを画像信号にかける。

[0041] 以上の処理により、間引きが行われた 640画素の画像信号と、さらに間引きが行われた 320画素の画像信号とが、水平方向に連続的に配置されることになる。

[0042] 垂直方向の動作としては、図 5に示すように、 FIFO部 113への書込み、読み出しで信号が 1ライン遅延する。また、垂直 LPF部 117の処理で、信号が 2ライン遅延する。その結果、合計 3ライン遅延で信号が出力される。そこで、制御部 111は、入力垂直同期信号に対して 3ライン遅延した垂直同期信号を生成する。この信号は、出力垂直同期信号 124として生成され、解像度変換部 110から出力される。

[0043] このような本発明の第 1実施形態によれば、図 6Aの入力画像から図 6の出力画像が生成される。入力画像は、水平 1280画素、垂直 960ラインの画像であり、すなわち 4VGA画像である。出力画像は、水平 640画素、垂直 480ラインの画像 (VGA画像)と、水平 320画素、垂直 240ラインの画像 (QVGA画像)とを填め込んだ画像である。 2つの縮小画像は、入力画像のサイズの中に填め込まれている。このような本発明の特徴的な画像を、「填め込み画像」という。

[0044] 図の例における填め込み画像についてより詳細に説明すると、入力画像の有効画像領域 (入力画像サイズ）は、水平方向に 1280画素、垂直方向に 960ラインの領域である。この有効画像領域内に、 VGA画像填め込み領域と、 QVGA画像填め込み領域が並んで設定されている。 VGA画像填め込み領域の幅は 640画素であり、 QV GA画像填め込み領域の幅は 320画素である。残りの領域はダミー領域であり、その幅は 320画素である。各領域の縦方向の幅は 960ラインである。 VGA画像は出力画像の VGA画像填め込み領域に 2ラインおきに組み込まれてよぐ QVGA画像は出力画像の QVGA画像填め込み領域に 4ラインおきに組み込まれてよ、。このようにして、出力画像信号は、 VGA画像信号と QVGA画像を各々の填め込み領域に填め込んだ画像になる。

[0045] 以上に本発明の第 1の実施の形態について説明した。本実施の形態によれば、解像度変換部が、上述のような填め込み画像の形で画像を出力する。これにより、異なるサイズの複数の画像を一度に出力することができ、したがって異なる解像度の複数の画像を一度に出力することができる。そして、複数の解像度の画像を入力フレームレートで出力することが可能になる。

[0046] また、本実施の形態では、入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されて、る。解像度変換部 110は、入力画像に対して複数段階の縮小処理、より具体的には間引き処理、を行うことにより複数の異なるサイズの縮小画像を生成し、複数の異なるサイズの縮小画像の信号を順次出力する。これにより、解像度変換部 110は、複数の填め込み領域に複数の異なるサイズの縮小画像が嵌め込まれた填め込み画像を出力する。このような構成により、異なる解像度の複数の画像を同時に出力可能にする本発明の填め込み画像を好適に生成できる。

[0047] "第 2実施形態"

次に本発明の第 2実施形態について図 7、図 8、図 9を用いて説明する。図 7は、本実施形態の撮像装置における解像度変換部の構成を示している。図 8は、解像度変換部の動作を示している。図 9Aおよび図 9Bは、本実施形態における出力画像を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。

[0048] 図 7の解像度変換部 701においては、図 1の解像度変換部 110との違いとして、遅延部 702、 MUX部 703および情報付加部 704が追加されている。遅延部 702には入力画像信号が入力され、遅延部 702は入力画像信号を遅延させて、 MUX部 706 に出力する。 [0049] MUX部 703には、垂直 LPF部 117の出力と、遅延部 702の出力とが入力される。前者が第 1の実施の形態の填め込み画像であり、後者は、解像度変換前の原画像である。そして、 MUX部 703は、制御部 705からの MUX選択信号 706に従い、どちらかの信号を選択して出力する。制御部 705は、 MUX部 703に、填め込み画像と原画像を交互に出力させてもよい。また、制御部 705は、 MUX部 703に、填め込み画像と原画像をランダムに出力させてもよい。

[0050] 情報付加部 704には、 MUX部 703の出力が入力される。情報付加部 704は、制御部 705からの情報付加指示信号 707により、画像信号に付加情報を付加して出力する。付加情報は、 MUX部 703で選択された画像を判別する情報であり、すなわち、填め込み画像と原画像を判別する情報である。また、制御部 705においては、第 1 の実施の形態の制御部 111に対して、上述した MUX部 703および情報付加部 704 に対する制御機能が追加されて、る。

[0051] 次に、図 8を参照し、本実施の形態の撮像装置の動作を説明する。入力画像信号力水平 LPF部 112に入力され、垂直 LPF部 117から出力されるまでの動作は、第 1実施形態で説明したとおりである。垂直 LPF117の出力信号は入力信号力も 3ライン遅延する。同時に、入力画像信号は、遅延部 702により 3ライン遅延され、 MUX部 703〖こ人力される。

[0052] 制御部 705は、フレームの切り替わりタイミングで、 MUX選択信号 706を出力したい画像に切り替える。これにより、 MUX部 703は、入力画像そのままの原画像力、縮小画像を填めこんだ填め込み画像かを選択する。図 8は、フレームの始まりで遅延部 702の原画像出力を選択する場合の動作を示している。

[0053] また、情報付加部 704は、制御部 705からの情報付加指示信号 707に従、、 MU X部 703の出力信号に対して付加情報を載せる。付加情報は、上述のように、垂直 L PF117からの填め込み画像と遅延部 702からの原画像のどちらを出力しているかの情報である。付加情報は、 1100ライン目のラインに付加される。例えば、遅延部 702 力もの出力信号を出力する場合は、 1100ラインの全部の画素値が 0 (零）とされる。垂直 LPF部 117からの出力信号を出力する場合は、全部のの画素値が 1(一)にされる。 [0054] なお、付加情報は、 2つの画像を区別することができる任意の情報でょ、。付加情報は、他の値でもよい。また、上述の例のようにライン上の全部の画素に付加情報が付加されなくてもよい。

[0055] 図 9Aおよび図 9Bは、解像度変換部 701の出力画像を示している。本実施の形態では、図 9Aおよび図 9Bのどちらかの画像が出力される。図 9Aは、入力画像そのままの原画像である。ただし、情報付加ラインに付加情報として画素値 0が付加されている。図 9Bは填め込み画像であり、情報付加ラインに付加情報として画素値 1が付加されている。

[0056] このような本発明の第 2実施形態は、本撮像装置が原画像または填め込み画像を交互に、あるいはランダムに出力する場合に好適である。このような場合でも、画像信号を受け取った側で、出力信号が填め込み画像か、原画像 (入力画像)かの判断が可能となる。したがって画像信号を受け取った側で、填め込み画像からの縮小画像の取出しが必要力否かの判断が可能となる。

[0057] "第 3実施形態"

次に、本発明の第 3実施形態について図 10および図 11を用いて説明する。図 10 は、本実施形態の撮像装置の構成を示しており、図 11は、本実施形態における符号化部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。

[0058] 図 10では、図 1に対して、符号ィ匕部 1001および通信ネットワーク部 1004が追加されている。撮像部 101および解像度変換部 110の構成は、図 1に示される第 1の実施の形態と同様である。符号ィ匕部 1003は、解像度変換部 110からの画像を入力し、圧縮符号化を行い圧縮画像情報を出力する。通信ネットワーク部 1004は、符号ィ匕部 1001からの圧縮画像情報を通信ネットワーク網に出力する。

[0059] 符号ィ匕部 1001は、画像処理 DSP1002および SDRAM1003で構成されている。

SDRAM1003は画像処理 DSP1002のバスに接続されている。通信ネットワーク部 1004は、 CPU1005と、 CPU1005のバスに接続された SDRAM1006、 FLASHメモリ 1007およびイーサチップ 1008で構成されている。 FLASHメモリ 1007は、プログラムを保存している。イーサチップ 1008は、イーサネット (登録商標)と接続するためイーサ MACおよび PHYで構成されている。また、画像処理 DSP1002も CPU100 5のバスに接続されている。

[0060] 次に、本実施の形態の撮像装置の動作を説明する。撮像部 101および解像度変換部 110の動作は第 1の実施の形態と同様である。撮像装置 101からの画像信号は、解像度変換部 110により、図 6Bの出力画像に変換され、出力される。符号化部 10 01においては、図 11に示すように、画像がキヤプチヤされ（S101)、図 6Bの画像から QVGA画像が取り出される（S 102)。 QVGA画像は、水平 320画素、垂直 240ラインの小さい方の縮小画像である。ステップ S102では、画像の左端から 641画素目力も 320画素分の信号力 4ライン毎に取り出され、これにより QVGA画像填め込み領域から、 QVGA画像が取り出される。取り出された QVGA画像の圧縮符号ィ匕が行われ（S103)、符号化結果が CPU1005に対して出力される（S104)。

[0061] 次に図 6Bの画像から VGA画像が取り出される（S105)。 VGA画像は、水平 640 画素、垂直 480ラインの大きい方の縮小画像である。ステップ S 105では、画像の左端から 640画素分の信号力 2ライン毎に取り出される。これにより、 VGA画像填め込み領域から、 VGA画像が取り出される。取り出された VGA画像の圧縮符号化が行われ（S106)、符号化結果が CPU1005に出力される（S107)。

[0062] CPU1005は、符号化部 1001から受け取った符号化結果を元に、 SDRAM1003 に蓄えられている符号化された画像信号を読み出す。 CPU1005は、 SDRAM 100 6を用いて TCP/IPまたは UDPZIPのプロトコルに合わせてパケットデータを生成し、イーサチップ 1008を介してパケットデータをイーサネット (登録商標）に出力する。 CPU1005は、 VGA画像を要求しているユーザーに対しては、 VGA画像を出力し、 QVGA画像を要求しているユーザーには QVGA画像を出力する。

[0063] なお、符号ィ匕部 1001における符号ィ匕方式は、 JPEG等の静止画符号ィ匕でもよぐ MPEG等の動画像符号ィ匕でもよ、。 QVGA画像と VGA画像で符号化方式が同じでもよぐ異なっていてもよい。好ましくは、符号ィ匕部 1001が、複数の符号化方式に対応するように構成される。そして、符号ィ匕部 1001は、画像サイズ毎に符号化方式を選択可能に構成され、 CPU1005の指示で符号化方式を選択する。この構成は、他の任意の実施の形態にも同様に適用されてよい。 [0064] このような本発明の第 3実施形態によれば、符号ィ匕部 1001および通信ネットワーク部 1004が設けられる。符号ィ匕部 1001が、解像度変換部 110からの填め込み画像力複数の縮小画像を取り出し、それら複数の縮小画像の符号化を行う。これにより、撮像部での撮像フレームレートと同じフレームレートで、複数の縮小画像に対して、圧縮符号ィ匕およびネットワーク網への出力を行うことが可能となる。

[0065] また、符号ィ匕部 1001は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能である。この構成により、撮像装置にネットワークで接続された表示端末に合わせた符号ィ匕方式での符号ィ匕が可能となる。

[0066] その他、本実施の形態において、符号ィ匕部 1001は、画像サイズ毎に符号化するフレームレートを変更可能に構成されてよい。この構成により、撮像装置にネットワークで接続された表示端末に合わせた画像サイズでの符号ィ匕が可能となる。また、小さ V、画像サイズは高フレームレートで符号ィ匕し、大き、画像サイズは低フレームレートで符号化することができる。これにより、符号化処理負荷の低減、および出力するデータ量の削減が可能となる。この構成は、他の実施の形態にも適用されてよい。

[0067] "第 4実施形態"

次に、本発明の第 4実施形態について説明する。本実施の形態の撮像装置は、図 10に示した第 3の実施形態と同様の構成を有している。ただし、以下に説明するように、符号化部 1001に、填め込み画像の圧縮符号化処理に適した符号化パラメータの調整機能が追加されている。図 12は、本実施形態における符号ィ匕部の動作を示している。以下の説明では、上述した実施形態と共通する事項の説明は省略する。

[0068] 撮像装置 101からの画像信号は、解像度変換部 110により、図 6Bの出力画像に変換され、出力される。符号ィ匕部 1001においては、図 12に示すように、画像がキヤプチヤされ（S201)、そして、図 6Bの画像から QVGA画像が取り出される（S202)。取り出し処理は既に説明した通りである。そして、 QVGA画像の圧縮符号ィ匕が行われ（ S203)、符号ィ匕の結果、発生した符号量が指定されている範囲内であるかの判断処理が行われる（S204)。符号量が指定範囲内に入っていない場合は、量子化パラメータの調整が行われ (S205)、再度 QVGA画像の符号ィ匕が行われる（S203)。ステップ S204において符号量が指定範囲内に入っていた場合は、符号ィ匕結果力 SCPU 1005に対して出力される（S206)。

[0069] 次に、 QVGA画像の符号ィ匕における量子化パラメータと発生符号量の関係から、 VGA画像に対する量子化パラメータの調整が行われる（S207)。 QVGA画像の量子化パラメータと発生符号量の関係は、上述の QVGA画像の取り出しおよび符号ィ匕の過程で得られる。 QVGA画像の符号ィ匕において、当初の量子化パラメータより量子化の値を上げることにより指定された範囲に符号量が収められたとする。この場合は、 VGAの符号ィ匕の前に、 VGAの符号化に使用する量子化の値も上げる。 QVGA 画像の符号ィ匕において、量子化パラメータが下げられたとする。この場合は、 VGA の符号化に使用する量子化の値も下げられる。このような符号化パラメータの調整処理がステップ S 207で行われる。

[0070] 次に、図 6Bの画像から VGA画像が取り出される（S208)。取り出し処理は既に説明した通りである。そして、 VGA画像の符号ィ匕が行われる（S 209)。ここでは、ステツプ S207で調整されたパラメータが用いられる。そして、 VGA画像の発生符号量が指定範囲以内か否かの判断処理が行われる（S210)。符号量が指定範囲外の場合は、量子化パラメータの調整が行われ (S211)、再度 VGA画像の符号ィ匕が行われる（ S209)。ステップ S210において符号量が指定範囲内であった場合は、符号化結果力 SCPU1005に対して出力される（S212)。そして、通信ネットワーク部 1004により、画像信号がネットワーク網に出力される。通信ネットワーク部 1004の動作は、第 3実施形態と同じである。

[0071] 以上に、本発明の第 4の実施形態に係る撮像装置について説明した。本実施の形態によれば、圧縮符号化部は、填め込み画像カゝら複数のサイズの画像を取り出し符号ィ匕を行う過程で、或るサイズの画像の符号ィ匕結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整する。この構成は、上述の例のように符号化後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。この構成により、或る画像サイズの符号ィ匕における量子化パラメ一タと符号ィ匕後のデータサイズの関係から、別の画像サイズにおける量子化パラメータの調整が可能となる。これにより、決められた範囲内にデータサイズが収まる確率をあげることが出来る。 [0072] また、本実施の形態では、符号ィ匕部 1001は、複数の異なるサイズの画像の符号ィ匕を行うときに、小さいサイズの画像力順番に符号ィ匕を行う。この構成も、本実施の形態のように符号ィ匕後のデータサイズを各画像サイズ毎に決められた範囲内に収めることが必要な場合に好適である。小さいサイズから符号ィ匕を行うことにより、処理時間力 Sかかる大きな画像サイズにおいて、決められたデータサイズの範囲内に収めるための再符号化処理を低減できる。これにより、符号化における処理時間を短縮することが出来る。

[0073] (第 5実施形態）

次に、本発明の第 5実施形態について図 13および図 14を用いて説明する。図 13 は、本実施形態における撮像装置の構成を示し、図 14は、符号化部の動作を示している。

[0074] 図 14に示すように、本実施形態の撮像装置では、、図 10の解像度変換部 101が解像度変換部 701に代えられている。解像度変換部 701の構成は図 7を用いて説明した通りである。また、本実施の形態では、解像度変換部 701から出力される填め込み画像と原画像の 2種類の画像を処理するために、符号ィ匕部 1001が以下の機能を実現するように構成されている。以下の説明では、上述した実施形態と共通する事項の説明は省略する。

[0075] 撮像装置 101からの画像信号が解像度変換部 701にて処理され、図 9Aの原画像と図 9Bの填め込み画像が出力される。本実施の形態では、解像度変換部 701が、原画像と填め込み画像を交互に出力する。すなわち、或るフレームにおいて原画像が出力されると、次のフレームでは填め込み画像が出力され、その次のフレームでは原画像が出力される。

[0076] 符号ィ匕部 1001においては、図 14に示すように、画像がキヤプチヤされ (S301)、付加情報が読み込まれる（S302)。付加情報は、図 9Aおよび図 9Bに示したように、画像の一番上のラインのデータである。符号ィ匕部 1001は、付加情報に基づき、キヤプチヤした画像力 4VGA画像（水平 1280画素、垂直 960ラインの画像）（図 9A)か、 VGAと QVGAの填め込み画像 (図 9B)かの判断を行う（S303)。

[0077] キヤプチャ画像が填め込み画像であった場合は、符号ィ匕部 1001は、 QVGA画像 (水平 320画素、垂直 240ライン)を取り出し (S304)、 QVGA画像の圧縮符号ィ匕を行い（S305)、符号ィ匕結果を CPU1005に対して出力する（S306)。次に、符号ィ匕部 1001は、 VGA画像を取り出し（S307)、 VGA画像の圧縮符号化を行い（S308) 、符号ィ匕結果を CPU1005に出力する（S309)。

[0078] ステップ S303にお、て、キヤプチャ画像が 4VGA画像であった場合は、符号化部 1001は、 4VGA画像を取り出し（S310)、 4VGA画像の符号化を行い（S311)、 4V GA画像の符号ィ匕結果を CPU1005に対して出力する（S312)。通信ネットワーク部 1003の動作は、第 3の実施の形態と同じである。ただし、通信ネットワーク 1003は、 QVCA符号化画像、 VGA画像に加えて、 4VGA画像も処理する。通信ネットワーク部 1003は、 QVGA符号化画像、 VGA符号化画像、 4VGA符号化画像を符号化部カゝら読み出し、 4VGAを要求しているユーザーに対しては 4VGA符号ィ匕画像を出力し、 VGA画像を要求しているユーザーに対しては VGA符号ィ匕画像を出力し、 QVG A画像を要求しているユーザーには QVGA符号ィ匕画像を出力する。

[0079] このような本発明の第 5実施形態によれば、符号ィ匕部 1001は、解像度変換部 701 からの画像に付加された付加情報により、入力されている画像の判別を行う。符号化部 701は、判別結果により、縮小画像の取り出し処理の有無を判断する。そして、符号ィ匕部 701は、取り出し処理を行う場合は、取り出し処理を行った後、複数の縮小画像の符号化を行い、取り出し処理を行わない場合は入力画像の符号化を行う。これ構成により、解像度変換部が填め込み画像と原画像を交互に出力した場合に、撮像部での撮像フレームレートの半分のフレームレートで、複数の縮小画像および原画像に対して、圧縮符号ィ匕およびネットワーク網への出力を行うことが可能となる。

[0080] なお、第 4実施形態の構成が第 5実施形態に組み込まれてよい。この場合、填め込み画像が符号ィ匕部 1001に入力されたときに、 QVGA画像の符号化結果に基づいて VGA画像の符号化の量子化パラメータが調整される。

[0081] 以上に現時点で考えられる本発明の好適な実施の形態を説明した力本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。産業上の利用可能性

以上のように、本発明にかかる撮像装置は、複数の解像度の画像を出力可能な力メラ等として有用である。

Claims

請求の範囲

[1] 撮像デバイスにより被写体を撮像し画像信号を生成する撮像部と、

前記撮像部により撮影された前記画像信号の解像度を変換し、変換された画像信号を出力する解像度変換部と、

を備え、

前記解像度変換部は、前記撮像部から入力された画像を、複数の異なるサイズの画像に縮小し、前記撮像部からの入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を出力することを特徴とする撮像装置。

[2] 前記入力画像サイズの中には、複数の異なるサイズの縮小画像をそれぞれ嵌め込むための複数の填め込み領域が並んで設定されており、前記解像度変換部は、入力画像に対して複数段階の縮小処理を行うことにより複数の異なるサイズの縮小画像を生成し、前記複数の異なるサイズの縮小画像の信号を順次出力することにより、前記複数の填め込み領域に前記複数の異なるサイズの縮小画像が嵌め込まれた前記填め込み画像を出力することを特徴とする請求項 1に記載の撮像装置。

[3] 前記解像度変換部は、前記填め込み画像の出力と、前記撮像部から入力されたサィズのままの原画像出力との切り替えを行うとともに、前記填め込み画像と前記原画像とのどちらの画像を出力しているかを示す付加情報を、画像情報に付加して出力することを特徴とする請求項 1記載の撮像装置。

[4] 前記解像度変換部からの画像を入力し、圧縮符号化を行!ヽ圧縮画像情報を出力する圧縮符号化部と、

前記圧縮符号化部からの前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、

前記圧縮符号化部は、前記解像度変換部からの前記填め込み画像から複数の縮小画像を取り出し、符号化を行うことを特徴とする請求項 1記載の撮像装置。

[5] 前記解像度変換部からの画像を入力し、圧縮符号化を行!ヽ圧縮画像情報を出力する圧縮符号化部と、

圧縮符号ィ匕部力の前記圧縮画像情報を通信ネットワーク網に出力する通信ネットワーク部とを備え、前記圧縮符号化部は、前記解像度変換部からの画像に付加された前記付加情報により、入力されている画像の判別を行い、判別結果により、縮小画像の取り出し処理の有無を判断し、取り出し処理を行う場合は、取り出し処理を行った後、符号化を行!、、取り出し処理を行わな、場合は入力画像の符号ィ匕を行うことを特徴とする請求項 3記載撮像装置。

[6] 前記圧縮符号化部は、前記填め込み画像カゝら複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号ィ匕結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項 4記載の撮像装置。

[7] 前記圧縮符号化部は、前記複数の異なるサイズの画像の符号ィ匕を行うときに、小さいサイズの画像力も順番に符号ィ匕を行うことを特徴とする請求項 6記載の撮像装置。

[8] 前記圧縮符号化部は、前記填め込み画像カゝら複数のサイズの画像を取り出し符号化を行う過程で、或るサイズの画像の符号ィ匕結果を基に、その他のサイズの画像の符号化における符号化パラメータを調整することを特徴とする請求項 5記載の撮像装置。

[9] 前記圧縮符号化部は、前記複数の異なるサイズの画像の符号ィ匕を行うときに、小さいサイズの画像力も順番に符号ィ匕を行うことを特徴とする請求項 8記載の撮像装置。

[10] 前記圧縮符号化部は、画像サイズ毎に符号ィ匕するフレームレートを変更することを特徴とする請求項 4記載の撮像装置。

[11] 前記圧縮符号化部は、画像サイズ毎に符号ィ匕するフレームレートを変更することを特徴とする請求項 5記載の撮像装置。

[12] 前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項 4記載の撮像装置。

[13] 前記圧縮符号化部は、複数の符号化方式に対応しており、画像サイズ毎に符号化方式を選択可能であることを特徴とする請求項 5記載の撮像装置。

[14] 入力された画像信号の解像度を変換し、変換された画像信号を生成する画像処理方法であって、

入力画像を複数の異なるサイズの画像に縮小し、入力画像サイズの中に複数の異なるサイズの縮小画像を填め込んだ填め込み画像を生成することを特徴とする画像処理方法。