JPH08331561A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JPH08331561A JPH08331561A JP12390895A JP12390895A JPH08331561A JP H08331561 A JPH08331561 A JP H08331561A JP 12390895 A JP12390895 A JP 12390895A JP 12390895 A JP12390895 A JP 12390895A JP H08331561 A JPH08331561 A JP H08331561A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- compression
- image
- block
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Abstract
て画質劣化を防止して圧縮符号化を行うことができる画
像処理装置を提供することである。 【構成】 1画面の画像信号を複数のブロックに分割
し、そのブロック毎に圧縮符号化する画像処理装置であ
って、前記画像信号を表示する表示部(LCD5)と、
前記表示部上の操作者の注視点位置を検出する検出部
(IRED103,CCDセンサ104,視線検出回路
102)と、前記検出部で検出された注視点位置に応じ
て前記ブロックに対して重み付けを行なって圧縮符号化
する圧縮符号化部(優先アリア生成回路106,符号量
推定回路10’,適応量子化回路11)とを有する。
Description
に画像信号の圧縮符号化処理に関するものである。
画面の画素をデジタル化し、所定の画素数毎にまとめて
ブロック化した後、離散コサイン変換(DCT)等の直
交変換と量子化を行いエントロピー符号化を行う高能率
符号化方式のVTRが提案されている。
化し、約1/6に情報を圧縮して記録する家庭用デジタ
ルVTRフォーマットが提案されている。
メラ一体型で実現した場合の構成ブロック図を図17で
説明する。
D等の撮像素子、3は撮像素子2からの信号をテレビジ
ョン信号に変換するカメラ信号処理回路、4は撮影画像
をLCD(液晶)モニターに表示させるためのLCD表
示回路、5はファインダーとして使用されるLCDモニ
ター、6は1画面のテレビジョン信号を複数のブロック
に分割し、ブロックの並べ換えを行うブロック分割シャ
フリング回路である。
する動き検出回路、8はDCT演算と空間周波数成分に
応じて重み付けを行うDCT演算重み付け回路、9はD
CT演算重み付け回路8で直交変換されて得られたDC
T係数を低域から順に並べ換えを行う並べ換え回路であ
る。
し可変長符号化した後符号量が一定になるような量子化
ステップ幅を求める符号量推定回路、11は符号量推定
回路10の結果を受けて量子化を行う適応量子化回路、
12は2次元ハフマン符号を使って可変長符号化を行う
可変長符号化回路、13はデータ圧縮する前の元の画面
の位置にデータを並べ直すデシャフリング回路、14は
誤り訂正符号や同期信号やパイロット信号等記録に必要
な信号を付加する記録処理回路、15は磁気ヘツド、1
6は磁気テープである。
タルVTRの動作を説明する。
の撮像素子2上に結像され電気信号に変換される。
理回路3でγ補正、色のマトリクス処理等が行われテレ
ビジョン信号が作られる。
で撮影画像をモニターできるようになっており、カメラ
信号処理回路3の出力はLCD表示回路4でLCD駆動
信号に変換されLCDモニター5に画像を表示する。
送られ、ブロック分割シャフリング回路6でブロックの
分割と並べ換えを行う。
場合とデジタルの場合が考えられるがアナログの場合ブ
ロック分割シャフリング回路6の前にADコンバータが
入ることになる。
2及び図3を用いて説明する。
−Y信号を夫々(8×8)画素のDCTブロックに分け
る。
位置にある4つのY信号ブロックと1つのR−Y信号ブ
ロックと1つのB−Y信号ブロックの合わせて6つのD
CTブロックを1つの単位としてマクロブロックにす
る。1フレームは図3に表されるようにA〜Eの5つの
領域に分割され、更に各領域を27個のマクロブロック
からなる10個のブロックに分割する。
横に10分割されることになり、その1つの分割ブロッ
クをスーパーブロックとする。
され、A〜Eの5つの領域から所定のルールで1マクロ
ブロックずつ選ばれ、各領域から集められた5マクロブ
ロックの画像データが圧縮後固定長となるように後段の
回路で処理される。
ク毎にDCT演算を施し空間周波数の低い成分が高い成
分より歪が少なくなるように重み付けを行う。
大きい時にはフィールド内で処理し動きが小さい時には
フレーム内で処理する。ここでの処理の判定を行うのが
動き検出回路7である。
で直交変換されて得られたDCT係数を低域から順に並
べ換えを行う。並べ換えられた画像データは適応量子化
回路11で交流成分の周波数に応じた量子化ステップ幅
が決められるのであるが、先に述べたように5マクロブ
ロックのデータが圧縮後固定長となるように制御され
る。この制御は符号量推定回路10で行われる。符号量
推定回路10では各DCTブロックの画像の性質でパラ
メータを設定し、そのパラメータと周波数成分とに応じ
た量子化ステップ幅を求めることにより各DCTブロッ
クの効率的なビット配分で固定長化できる。
ータは可変長符号化回路で可変長符号に変換されるが5
マクロブロックで、ほぼ固定長になっている。
た画像データを元の画面の位置に並べ直す。元の画面の
位置に並べ直すことによって早送り再生時の映像が見や
すくなる。
記録処理回路14で誤り訂正符号や同期信号やパイロッ
ト信号等記録に必要な信号を付加され、磁気ヘツド15
により磁気テープ16に記録される。
画面全体を均等に圧縮する場合には非常に有効である。
しかしながら、一般に撮影者は画面中の特定の被写体だ
けに注目している場合が多い。また、距離の異なる複数
の被写体であれば注目している被写体に焦点を合わせて
いるため、他の被写体は非合焦でぼけている可能性が高
い。
全体に均等なビット配分がなされ不必要な部分にまで多
くのビットが使われてしまうという問題点があった。
目的は、ユーザーが所望する部分の画像データに対して
画質劣化を防止して圧縮符号化を行うことができる画像
処理装置を提供することを目的とする。
載から明らかとなるであろう。
の一つの発明として、1画面の画像信号を複数のブロッ
クに分割し、そのブロック毎に圧縮符号化する画像処理
装置であって、前記画像信号を表示する表示手段と、前
記表示手段上の操作者の注視点位置を検出する検出手段
と、前記検出手段で検出された注視点位置に応じて前記
各ブロックに対して重み付けを行なって圧縮符号化する
圧縮符号化手段とを有することを特徴とするものであ
る。
行う焦点調節手段を具備したカメラ部から出力される1
画面の画像信号を複数のブロックに分割し、そのブロッ
ク毎に圧縮符号化する画像処理装置であって、前記画像
信号を表示する表示手段と、前記表示手段上の操作者の
注視点位置を検出する検出手段と、前記検出手段で検出
された注視点位置に応じて前記各ブロックに対して重み
付けを行なって圧縮符号化する圧縮符号化手段と、前記
検出手段で検出された注視点位置に応じて前記焦点調節
手段を制御する制御手段とを有することを特徴とするも
のである。
像信号を複数のブロックに分割し、そのブロック毎に圧
縮符号化する画像処理装置であって、前記画像信号を表
示する表示手段と、前記表示手段上でユーザーが所望す
る位置を指定する指定手段と、前記指定手段の出力に応
じて前記各ブロックに対して重み付けを行なって圧縮符
号化する圧縮符号化手段とを有することを特徴とするも
のである。
行う焦点調節手段を具備したカメラ部から出力される1
画面の画像信号を複数のブロックに分割し、そのブロッ
ク毎に圧縮符号化する画像処理装置であって、前記画像
信号を表示する表示手段と、前記表示手段上でユーザー
が所望する位置を指定する指定手段と、前記指定手段で
指定された所望位置に応じて前記各ブロックに対して重
み付けを行なって圧縮符号化する圧縮符号化手段と、前
記指定手段で指定された所望位置に応じて前記焦点調節
手段を制御する制御手段とを有することを特徴とするも
のである。
であるカメラ一体型VTRの構成ブロック図である。
尚、図1中で図11と対応する部分には同一符号を付
し、その説明は省略する。
り、ファインダー内のLCDモニター5に映し出される
画像をモニターしている。
ために赤外線を照射する赤外線発光ダイオード(IRE
D)、104は眼球101で反射した赤外線を受光する
CCDセンサ、102は赤外線発光ダイオード103を
ドライブし、CCDセンサ104からの情報で視線位置
を解析する視線検出回路、105は視線検出回路102
の動作のON/OFFを行う視線検出スイッチ、106
は視線検出回路102で作られた視線位置情報を基に画
面上の座標群からなるエリア情報を作り出す優先エリア
生成回路である。
Rの動作を説明する。
1により撮像素子2上に結像され、電気信号に変換さ
れ、処理されてLCDモニター5に画像を表示する。
撮影者の眼球101がLCDモニター5の画像をモニタ
ーしている間、視線検出回路102は赤外線発光ダイオ
ード103をドライブし眼球101に赤外線を照射し、
反射した赤外線をCCDセンサ104で受光し、CCD
センサ104からの情報で視線位置情報をつくる。尚、
視線位置検出方法は後述する。
基に優先エリア生成回路106では画面上の座標群から
なるエリア情報を作り出す。一方、カメラ信号処理回路
3からの画像信号は従来例と同様、ブロック分割シャフ
リング回路6、動き検出回路7、DCT演算重み付け回
路8及び並べ換え回路9で処理されて符号量推定回路1
0’及び適応量子化回路11に画像データが送られる。
成回路106で作られた優先エリアに含まれるマクロブ
ロックが固定長化単位内のその他のマクロブロックより
優位にビット配分がなされるよう所定のオフセットをつ
けて符号量の見積もりを行い、量子化ステップ幅の制御
を適応量子化回路11に対して行う。
明する。
り、例として中央部に家があり左側に木がある場面にな
っている。
している。視線検出スイッチ105がONであれば注視
点は視線検出回路102で画面内の座標が求められ視線
位置情報となる。視線位置情報を基に優先エリア生成回
路106では図5の斜線部で示されるような座標群から
なる優先エリア情報を作り出す。固定長化単位ではA〜
Eの5つの領域から所定のルールで5マクロブロック集
められるのであるが、図5ではマクロブロックMBA が
優先エリアに入っており他のマクロブロックより優位に
ビット配分がなされる。
るビット配分の変化を示す図である。
ブロックの圧縮前のデータを表している。
FF時のデータ圧縮後のビット配分を表している。
変長符号に変換された後のデータであり5マクロブロッ
クでほぼ固定長になっている。
になる。
N時のデータ圧縮後のビット配分を表している。マクロ
ブロックMBA が優先エリアに入っており他のマクロブ
ロックより優位にビット配分がなされる。優先エリアの
マクロブロックと他のマクロブロックの重み付けは、各
DCTブロックの画質パラメータにビット配分が増える
ようなオフセットをつける方法、優先エリアのマクロブ
ロックの量子化パラメータが他のマクロブロックのパラ
メータに対し一定差あるいは一定比になるような方法等
がある。いずれにしても優先エリアに含まれるマクロブ
ロックの圧縮後のビット量DA は視線検出スイッチ10
5がOFF時より増える。一般に眼球101の視線位置
は細かな変動があるが視線検出回路102あるいは優先
エリア生成回路106で動きの平均化を行い、また並べ
換え回路9の出力とのタイミング調整を行う。
は可変長符号化回路で可変長符号に変換されるが5マク
ロブロックではほぼ固定長になっている。
た画像データを元の画面の位置に並べ直す。デシャフリ
ングされた画像データは記録処理回路14で誤り訂正符
号や同期信号やパイロット信号等記録に必要な信号を付
加され、磁気ヘツド15により磁気テープ16に記録さ
れる。
体型VTRの場合で説明したがカメラ信号処理回路3以
外からの信号でも良く、また記録装置以外の例えばデー
タ伝送装置でも同様にユーザーが所望する部分の画像デ
ータに対して画質劣化を防止して圧縮符号化を行うこと
ができる。
2の実施例であるカメラ一体型VTRの構成ブロック図
である。
を付し、その説明は省略する。
2で作られた視線位置情報を元に画面上の自動合焦領域
を作り出すAFエリア生成回路、202はカメラ信号処
理回路3からの画像信号の高域部分のうちAFエリア生
成回路201で作られた自動合焦領域に含まれる部分で
合焦制御信号を作り出すAF処理回路、203はAF処
理回路202で作られた合焦制御信号でレンズ群1を駆
動するレンズ駆動回路である。
Rで、中央部に家があり左側に木がある場面で撮影者か
らの距離がそれぞれ異なっている被写体の例で動作を説
明すると、第1の実施例と同様まず被写体の画像はレン
ズ群1により撮像素子2上に結像され、電気信号に変換
され、処理されてLCDモニター5に画像を表示する。
影者の眼球101がLCDモニター5の画像をモニター
している間、視線検出回路102は赤外発光ダイオード
103をドライブし眼球101に赤外線を照射し、反射
した赤外線をCCDセンサ104で受光し、CCDセン
サ104からの情報で視線位置情報を作る。
部を注視していれば注視点(×の位置)が視線位置情報
となる。
報を基にAFエリア生成回路201では自動合焦領域を
作り出し(図8のAFエリア)、AF処理回路202で
はカメラ信号処理回路3からの画像信号の高域成分と自
動合焦領域情報で合焦制御信号が作られ、木の上部(図
8のAFエリア)に合焦するよう、レンズ駆動回路20
3がレンズ郡1を駆動する。この時中央部の家は非合焦
になっている。一方、視線検出回路102からの視線位
置情報を基に優先エリア生成回路106でも画面上の座
標郡から成る優先エリア情報を作り出す。
号は第1の実施例と同様、ブロック分割シャフリング回
路6、動き検出回路7、DCT演算重み付け回路8及び
並べ換え回路9で処理されて符号量推定回路10’及び
適応量子化回路11に画像データが送られる。
回路106で作られた優先エリアに含まれるマクロブロ
ックが固定長化単位内のその他のマクロブロックより優
位にビット配分がなされる様に所定のオフセットをつけ
て符号量の見積もりを行い、量子化ステップ幅の制御を
適応量子化回路11に対して行う。
ロブロックが、非合焦になっている中央部の家のマクロ
ブロックより優位にビット配分がなされる。
ット配分の機能用とで視線検出スイッチ105、視線検
出回路102、赤外線発行ダイオード103、CCDセ
ンサ104は兼用で行ったが独立させてもよい。またA
Fエリア生成回路201と優先エリア生成回路106は
兼用でもよい。
装置でも本発明は有効である。
3の実施例であるカメラ一体型VTRの構成ブロック図
である。
符号を付し、その説明は省略する。ここでは第3の実施
例が第2の実施例と異なる優先エリアの指定方法につい
てのみ説明する。それ以外の処理については第2の実施
例と同様であるので省略する。
を指示するための方向スイッチ、302は方向スイッチ
301の指示により座標情報を作り出す座標生成回路、
303は座標生成回路302の動作をON/OFFを行
う座標指示スイッチである。
Rで、中央部に家があり左側に木がある場面で撮影者か
らの距離がそれぞれ異なっている被写体の例で動作を説
明すると、第1の実施例と同様まず被写体の画像はレン
ズ群1により撮像素子2上に結像され、電気信号に変換
され、処理されてLCDモニター5に画像を表示する。
方向スイッチ301の指示により座標生成回路302で
座標情報を作る。
上部(×の位置)に注目したい時、座標指示スイッチ3
03をONにして画面内のAFエリアを×の位置付近に
来るように方向スイッチ301を操作する。
基にAFエリア生成回路201では自動合焦領域を作り
出し(図10のAFエリア)、AF処理回路202では
カメラ信号処理回路3からの画像信号の高域成分と自動
合焦領域情報で合焦制御信号が作られ、木の上部(図1
0のAFエリア)に合焦するよう、レンズ駆動回路20
3がレンズ郡1を駆動する。この時中央部の家は非合焦
になっている。一方、座標生成回路302からの座標情
報を基に優先エリア生成回路106でも画面上の座標郡
から成る優先エリア情報を作り出す。
号は第2の実施例と同様、ブロック分割シャフリング回
路6、動き検出回路7、DCT演算重み付け回路8及び
並べ換え回路9で処理されて符号量推定回路10’及び
適応量子化回路11に画像データが送られる。
回路106で作られた優先エリアに含まれるマクロブロ
ックが固定長化単位内のその他のマクロブロックより優
位にビット配分がなされる様に所定のオフセットをつけ
て符号量の見積もりを行い、量子化ステップ幅の制御を
適応量子化回路11に対して行う。
クロブロックが、非合焦になっている中央部の家のマク
ロブロックより優位にビット配分がなされる。
第4の実施例であるカメラ一体型VTRの構成ブロック
図である。尚、図11中で図7と対応する部分には同一
符号を付し、その説明は省略する。ここでは第4の実施
例が第2の実施例と異なるデータ圧縮の際の重み付け処
理についてのみ説明する。それ以外の処理については第
2の実施例と同様であるので省略する。
02で検出された視線位置の座標とマクロブロックの座
標との画面上の距離を求める距離測定回路、402は固
定徴の5マクロブロックに重み付けを行うパラメータを
生成する重み付けパラメータ回路である。
に表示されており、撮影者は左の木の上部(×の位置)
を注視している場合を想定する。
線検出回路102が注視点を示す視線位置の座標が求め
られる。距離測定回路401では図12で表されている
ように、ブロック分割シャフリング回路6’から固定長
となる5マクロブロック(MBA ,MBB ,MBC ,M
BD ,MBE )のアドレスを受け取り、座標に変換し、
視線位置の座標との距離(LA ,LB ,LC ,LD ,L
E )を求める。この例ではLA <LB <LC <LD <L
E となっており、重み付けパラメータ回路402では距
離の短いマクロブロックから優先されるよう重み付けパ
ラメータを発生する。ここでは一番距離の短いマクロブ
ロックMBA のビット配分が優先され、一番距離の長い
マクロブロックMBE のビット配分が少なくなるように
重み付けパラメータを発生する。
からの5マクロブロック(MBC ,MBB ,MBD ,M
BA ,MBE )のデータと、各DCTブロックの画質パ
ラメータと、重み付けパラメータからの符号量見積もり
を行い、量子化ステップ幅の制御を適応量子化回路11
に対して行う。
よるビット配分の変化を示す図である。
ロブロックの圧縮前のデータを表している。
OFF時のデータ圧縮後のビット配分を表している。
変長符号に変換された後のデータであり5マクロブロッ
クでほぼ固定長になっている。従来例と同一画像であれ
ば同じビット配分になる。
ON時のデータ圧縮後のビット配分を表している。
がなされマクロブロックMBE のビット配分が少なくな
っている。各マクロブロックの重み付けは各DCTブロ
ックの画質パラメータにビット配分が増減する様なオフ
セットを付ける方法、各マクロブロックの量子化パラメ
ータに傾斜をつける方法等がある。いずれにしても視線
位置と一番距離の短いマクロブロックMBA は視線検出
スイッチ105がOFF時よりも圧縮後のビット量DA
は増え、前記視線位置と一番距離の長いマクロブロック
MBE は視線検出スイッチ105がOFF時よりも圧縮
後のビット量DE は減る。
るので説明は省略する。
第5の実施例であるカメラ一体型VTRの構成ブロック
図である。尚、図14中で図9或は図11と対応する部
分には同一符号を付し、その説明は省略する。ここでは
第5の実施例が第4の実施例と異なる優先エリアの指定
方法についてのみ説明する。それ以外の処理については
第4の実施例と同様であるので省略する。
TRで、中央部に家があり左側に木がある場面で撮影者
からの距離がそれぞれ異なっている被写体の例で動作を
説明すると、第4の実施例と同様まず被写体の画像はレ
ンズ群1により撮像素子2上に結像され、電気信号に変
換され、処理されてLCDモニター5に画像を表示す
る。
方向スイッチ301の指示により座標生成回路302で
座標情報を作る。
上部(×の位置)に注目したい時、座標指示スイッチ3
03をONにして画面内のAFエリアを×の位置付近に
来るように方向スイッチ301を操作する。
基にAFエリア生成回路201では自動合焦領域を作り
出し(図10のAFエリア)、AF処理回路202では
カメラ信号処理回路3からの画像信号の高域成分と自動
合焦領域情報で合焦制御信号が作られ、木の上部(図1
0のAFエリア)に合焦するよう、レンズ駆動回路20
3がレンズ郡1を駆動する。この時中央部の家は非合焦
になっている。一方、座標生成回路102からの座標情
報を基に、距離測定回路401、重み付けパラメータ回
路402が第4の実施例と同様な処理を行う。
号は第4の実施例と同様な処理がなされて磁気テープ1
6に記録される。
実施例で用いられるファインダー上の撮影者の注視点を
検出する視線検出の原理を以下に説明する。
15(a)はファインダーの上面からみた原理図であ
り、図15(b)はファインダーの側面からみた原理図
である。
影者に対して不感の赤外光を放射する発光ダイオード
(IRED)等の光源であり、各光源は結像レンズ51
1の光軸に対してx方向(水平方向)に略対象に(図1
5(a)参照)、またy方向(垂直方向)にはやや下側
に(図15(b)参照)配置され、撮影者の眼球を発散
照明している。
511によってイメージセンサ512に結像する。
506bは図1,図7及び図11中のILED103に
相当し、イメージセンサ512は図1,図7及び図11
中のCCDセンサ104に相当する。
を説明するための図である。尚、図16中で図15と対
応する部分には同一符号を付してある。
影される眼球像の概略図、図16(b)はイメージセン
サ512の出力強度図である。
方法を説明する。
いて光源506bより放射された赤外光は撮影者の眼球
508の角膜510を照明する。このとき角膜510の
表面で反射した赤外光により形成される角膜反射像d
(虚像)は結像レンズ511により集光され、イメージ
センサ512上の位置d’に結像する。
は眼球の角膜510を照明する。
光により形成された角膜反射e(虚像)は、結像レンズ
511により集光され、イメージセンサ512上の位置
e’に結像する。
は結像レンズ511を介してイメージセンサ512上の
位置a’,b’に端部a,bの像を結像する。結像レン
ズ511の光軸に対する眼球508の光軸の回転角θが
小さい場合、虹彩504の端部a,bのx座標をxa,
xbとすると、xa,xbはイメージセンサ上で多数点
求めることができる(図16(a)の×印)。
cを算出する。一方、角膜510の曲率中心oのx座標
をxoとすると、眼球508の光軸に対する回転角θx
は、 oc×sin θx=xc−xo (1) となる。また、角膜反射像dとeの中点kに所定の補正
値δxを考慮してxoを求めると、 xk=(xd+xe)/2 xo=(xd+xe)/2+δx (2) ここでδxは装置の設置方法/眼球距離等から幾何学的
に求められる数値であり、その算出方法は省略する。よ
って、(1)式を(2)式へ代入し、θxをもとめる
と、 θx=arcsin〔〔xc−{(xd+xe)/2+δx}〕/oc〕 (3) 更に、イメージセンサ上に投影された各々の特徴点の座
標を、’(ダッシュ)をつけて(4)式に書き換える
と、 θx=arcsin〔〔xc’−{(xd’+xe’)/2+δx’}〕/o c/β〕 (4) となる。ここでβは結像レンズ511に対する眼球の距
離szeにより決まる倍率で、実際は角膜反射像の間隔
|xd’−xe’|の関数として求められる。
成となる。ここで2個のIRED506a,506bに
より生じる角膜反射像は同位置に発生し、これをiとす
る。
とほぼ同一であるが(2)式のみ異なり、角膜曲率中心
oのy座標をyoとすると、 yo=yi+δy (5) ここでδyは装置の配置方法、眼球距離等から幾何学に
求められる数値であり、その算出法は省略する。よって
垂直方向の回転角θyは、 θy=arcsin〔〔yc’−(yi’+δy’)〕/oc/β〕(6) となる。
の位置座標(xn,yn)はファインダー光学系で決ま
る定数mを用いると、水平面上、垂直面上それぞれ、 xn=m×arcsin〔〔xc’−{(xd’+xe’)/2+δx’}〕 /oc/β〕 (7) yn=m×arcsin〔〔yc’−(yi’+δy’)〕/oc/β〕 (8) となる。
ジの検出はイメージセンサ出力は計の立ち上がり(x
b’)、立ち下がり(xa’)を利用する。また、角膜
反射像の座標は鋭い立ち上がり部(xe’)及び(x
d’)を利用する。
逸脱することなく、他のいろいろな形で実施することが
できる。そのため前述の実施例はあらゆる点で単なる例
示に過ぎず、限定的に解釈してはならない。
変更はすべて本発明の範囲内のものである。
よれば、1画面の画像信号を複数のブロックに分割し、
そのブロック毎に圧縮符号化する画像処理装置であっ
て、前記画像信号を表示する表示部と、前記表示部上の
操作者の注視点位置を検出し、その検出された注視点位
置に応じて前記ブロックに対して重み付けを行なって圧
縮符号化するので、従来の様に画面全体を均等にデータ
圧縮する場合よりもユーザーが注視している視点付近で
データ圧縮による画質劣化を少なくすることができる。
節を行う焦点調節手段を具備したカメラ部から出力され
る1画面の画像信号を複数のブロックに分割し、そのブ
ロック毎に圧縮符号化する画像処理装置であって、前記
画像信号を表示部に表示し、前記表示部上の操作者の注
視点位置を検出し、その検出された注視点位置に応じて
前記ブロックに対して重み付けを行って圧縮符号化し、
また、前記注視点位置に応じて前記焦点調節手段を制御
するので、ユーザーの視点付近の合焦している部分の画
質劣化を少なくすることができる。
位置とブロックとの距離に応じて圧縮の重み付け処理を
行うので、より細かい重み付け処理が可能になるので、
全体的に重み付け処理を目立ちにくくすることができ
る。
換を用いて、直交変換された画像信号を量子化して画像
圧縮を行っているので、画質劣化を少なくして高圧縮が
可能である。
ステップを制御して重み付け処理を行っているので、制
御が簡単にできる。
換として離散コサイン変換を用いているので、画質劣化
を更に少なくして高圧縮が可能である。
の画像信号を複数のブロックに分割し、そのブロック毎
に圧縮符号化する画像処理装置であって、前記画像信号
を表示する表示部と、前記表示部上でユーザーが所望す
る位置を指定し、その指定出力に応じて前記各ブロック
に対して重み付けを行なって圧縮符号化するので、ユー
ザーが所望している部分画像に対してデータ圧縮による
画質劣化を少なくすることができる。
節を行う焦点調節手段を具備したカメラ部から出力され
る1画面の画像信号を複数のブロックに分割し、そのブ
ロック毎に圧縮符号化する画像処理装置であって、前記
画像信号を表示部に表示し、前記表示部上でユーザーが
所望する位置を指定し、その指定された所望位置に応じ
て前記ブロックに対して重み付けを行って圧縮符号化
し、また、前記所望位置に応じて前記焦点調節手段を制
御するので、ユーザーの視点付近の合焦している部分の
画質劣化を少なくすることができる。
ーの所望する位置とブロックとの距離に応じて圧縮の重
み付け処理を行うので、より細かい重み付け処理が可能
になるので、全体的に重み付け処理を目立ちにくくする
ことができる。
変換を用いて、直交変換された画像信号を量子化して画
像圧縮を行っているので、画質劣化を少なくして高圧縮
が可能である。
化ステップを制御して重み付け処理を行っているので、
制御が簡単にできる。
変換として離散コサイン変換を用いているので、画質劣
化を更に少なくして高圧縮が可能である。
型VTRの構成ブロック図である。
図である。
る。
ト配分の変化を説明する図である。
型VTRの構成ブロック図である。
である。
型VTRの構成ブロック図である。
示す図である。
体型VTRの構成ブロック図である。
を説明する図である。
おける画像データのビット配分の変化を説明する図であ
る。
体型VTRの構成ブロック図である。
を説明するための図である。
体型VTRの構成ブロック図である。
Claims (12)
- 【請求項1】 1画面の画像信号を複数のブロックに分
割し、そのブロック毎に圧縮符号化する画像処理装置で
あって、 前記画像信号を表示する表示手段と、 前記表示手段上の操作者の注視点位置を検出する検出手
段と、 前記検出手段で検出された注視点位置に応じて前記各ブ
ロックに対して重み付けを行なって圧縮符号化する圧縮
符号化手段とを有することを特徴とする画像処理装置。 - 【請求項2】 焦点調節を行う焦点調節手段を具備した
カメラ部から出力される1画面の画像信号を複数のブロ
ックに分割し、そのブロック毎に圧縮符号化する画像処
理装置であって、 前記画像信号を表示する表示手段と、 前記表示手段上の操作者の注視点位置を検出する検出手
段と、 前記検出手段で検出された注視点位置に応じて前記各ブ
ロックに対して重み付けを行なって圧縮符号化する圧縮
符号化手段と、 前記検出手段で検出された注視点位置に応じて前記焦点
調節手段を制御する制御手段とを有することを特徴とす
る画像処理装置。 - 【請求項3】 請求項1又は2において、前記圧縮符号
化手段は、前記検出手段の検出された注視点位置と前記
各ブロックとの距離を検出し、その検出結果に基づいて
前記各ブロックに対して重み付け処理を行うことを特徴
とする画像処理装置。 - 【請求項4】 請求項1,2又は3において、前記圧縮
符号化手段は、前記画像信号を直交変換する直交変換手
段と、前記直交変換された画像信号を量子化する量子化
手段とを有することを特徴とする画像処理装置。 - 【請求項5】 請求項4において、前記圧縮符号化手段
は、前記検出手段で検出された注視点位置に応じて前記
各ブロックに対する前記量子化手段の量子化ステップを
制御して重み付けを行なうことを特徴とする画像処理装
置。 - 【請求項6】 請求項5において、前記直交変換手段は
離散コサイン変換であることを特徴とする画像処理装
置。 - 【請求項7】 1画面の画像信号を複数のブロックに分
割し、そのブロック毎に圧縮符号化する画像処理装置で
あって、 前記画像信号を表示する表示手段と、 前記表示手段上でユーザーが所望する位置を指定する指
定手段と、 前記指定手段の出力に応じて前記各ブロックに対して重
み付けを行なって圧縮符号化する圧縮符号化手段とを有
することを特徴とする画像処理装置。 - 【請求項8】 焦点調節を行う焦点調節手段を具備した
カメラ部から出力される1画面の画像信号を複数のブロ
ックに分割し、そのブロック毎に圧縮符号化する画像処
理装置であって、 前記画像信号を表示する表示手段と、 前記表示手段上でユーザーが所望する位置を指定する指
定手段と、 前記指定手段で指定された所望位置に応じて前記各ブロ
ックに対して重み付けを行なって圧縮符号化する圧縮符
号化手段と、 前記指定手段で指定された所望位置に応じて前記焦点調
節手段を制御する制御手段とを有することを特徴とする
画像処理装置。 - 【請求項9】 請求項7又は8において、前記圧縮符号
化手段は、前記指定手段により指定された所望位置と前
記各ブロックとの距離を検出し、その検出結果に基づい
て前記各ブロックに対して重み付け処理を行うことを特
徴とする画像処理装置。 - 【請求項10】 請求項7,8又は9において、前記圧
縮符号化手段は、前記画像信号を直交変換する直交変換
手段と、前記直交変換された画像信号を量子化する量子
化手段とを有することを特徴とする画像処理装置。 - 【請求項11】 請求項10において、前記圧縮符号化
手段は、前記指定手段で指定された所望位置に応じて前
記各ブロックに対する前記量子化手段の量子化ステップ
を制御して重み付けを行なうことを特徴とする画像処理
装置。 - 【請求項12】 請求項11において、前記直交変換手
段は離散コサイン変換であることを特徴とする画像処理
装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12390895A JPH08331561A (ja) | 1995-03-30 | 1995-05-23 | 画像処理装置 |
US08/617,050 US5909240A (en) | 1995-03-30 | 1996-03-18 | Image processing apparatus |
EP19960302053 EP0735773A1 (en) | 1995-03-30 | 1996-03-26 | Image processing apparatus for performing compression encoding in accordance with the viewpoint position |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7332795 | 1995-03-30 | ||
JP7-73327 | 1995-03-30 | ||
JP12390895A JPH08331561A (ja) | 1995-03-30 | 1995-05-23 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08331561A true JPH08331561A (ja) | 1996-12-13 |
Family
ID=26414479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12390895A Pending JPH08331561A (ja) | 1995-03-30 | 1995-05-23 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5909240A (ja) |
EP (1) | EP0735773A1 (ja) |
JP (1) | JPH08331561A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003250132A (ja) * | 2001-12-19 | 2003-09-05 | Eastman Kodak Co | メタデータを採り入れてトランスコードを容易にした動画取込システム |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5819004A (en) * | 1995-05-08 | 1998-10-06 | Kabushiki Kaisha Toshiba | Method and system for a user to manually alter the quality of previously encoded video frames |
US6091767A (en) * | 1997-02-03 | 2000-07-18 | Westerman; Larry Alan | System for improving efficiency of video encoders |
KR100343766B1 (ko) * | 1999-06-08 | 2002-07-20 | 마쯔시다덴기산교 가부시키가이샤 | 영상신호 셔플링, 부호화, 복호화 장치 및 그 프로그램기록매체 |
US6953249B1 (en) | 2001-01-29 | 2005-10-11 | Maguire Jr Francis J | Method and devices for displaying images for viewing with varying accommodation |
US7027655B2 (en) * | 2001-03-29 | 2006-04-11 | Electronics For Imaging, Inc. | Digital image compression with spatially varying quality levels determined by identifying areas of interest |
US7167201B2 (en) * | 2003-04-28 | 2007-01-23 | Hewlett-Packard Development Company, L.P. | Device incorporating eye-start capability |
US8045799B2 (en) * | 2007-11-15 | 2011-10-25 | Sony Ericsson Mobile Communications Ab | System and method for generating a photograph with variable image quality |
US20160007026A1 (en) * | 2013-03-08 | 2016-01-07 | Jie Dong | Techniques for image encoding based on region of interest |
US10405003B2 (en) | 2017-01-20 | 2019-09-03 | Google Llc | Image compression based on semantic relevance |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3507988A (en) * | 1966-09-15 | 1970-04-21 | Cornell Aeronautical Labor Inc | Narrow-band,single-observer,television apparatus |
US4028725A (en) * | 1976-04-21 | 1977-06-07 | Grumman Aerospace Corporation | High-resolution vision system |
US4405943A (en) * | 1981-08-19 | 1983-09-20 | Harris Corporation | Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle |
GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
JPH07121081B2 (ja) * | 1987-03-06 | 1995-12-20 | 富士写真光機株式会社 | オ−トフオ−カス装置 |
US5426513A (en) * | 1989-06-16 | 1995-06-20 | Harris Corporation | Prioritized image transmission system and method |
DE69033946T2 (de) * | 1989-12-25 | 2002-11-21 | Mitsubishi Electric Corp | Kodierungsgerät |
US5103306A (en) * | 1990-03-28 | 1992-04-07 | Transitions Research Corporation | Digital image compression employing a resolution gradient |
EP0557007A2 (en) * | 1992-02-15 | 1993-08-25 | Sony Corporation | Picture processing apparatus |
JPH06165151A (ja) * | 1992-11-25 | 1994-06-10 | Matsushita Electric Ind Co Ltd | 映像符号量制御装置 |
US5521634A (en) * | 1994-06-17 | 1996-05-28 | Harris Corporation | Automatic detection and prioritized image transmission system and method |
-
1995
- 1995-05-23 JP JP12390895A patent/JPH08331561A/ja active Pending
-
1996
- 1996-03-18 US US08/617,050 patent/US5909240A/en not_active Expired - Lifetime
- 1996-03-26 EP EP19960302053 patent/EP0735773A1/en not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003250132A (ja) * | 2001-12-19 | 2003-09-05 | Eastman Kodak Co | メタデータを採り入れてトランスコードを容易にした動画取込システム |
Also Published As
Publication number | Publication date |
---|---|
US5909240A (en) | 1999-06-01 |
EP0735773A1 (en) | 1996-10-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5552823A (en) | Picture processing apparatus with object tracking | |
US9456135B2 (en) | Image synthesizing apparatus, image synthesizing method, and image synthesizing program | |
US20110221920A1 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium | |
US8824730B2 (en) | System and method for control of video bandwidth based on pose of a person | |
US7349023B2 (en) | Camera-integrated video recording and reproducing apparatus, and record control method thereof | |
US6415057B1 (en) | Method and apparatus for selective control of degree of picture compression | |
US20050007486A1 (en) | Image capturing apparatus | |
WO1994017636A1 (en) | Automatic tracking camera control system | |
KR20050051575A (ko) | 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체 | |
US8488681B2 (en) | Image capturing apparatus, control method therefor, program, and storage medium | |
JP2011130382A (ja) | 撮像装置およびその制御方法 | |
US20120121129A1 (en) | Image processing apparatus | |
JPH08331561A (ja) | 画像処理装置 | |
JP2000307952A (ja) | 画像合成用自動背景シーンのデフォーカシング | |
US20010013902A1 (en) | Image sensing apparatus and its control method, and computer readable memory | |
JPH07154741A (ja) | ビデオカメラの画像編集装置 | |
US20020130955A1 (en) | Method and apparatus for determining camera movement control criteria | |
CN102209199B (zh) | 图像拍摄装置 | |
JP2000209590A (ja) | 画像符号化装置及び方法、記憶媒体並びに撮像装置 | |
US8158918B2 (en) | Imaging apparatus, control method thereof, and computer-readable storage medium storing program | |
JPH06133210A (ja) | 自動撮影装置 | |
JP2002064790A (ja) | 画像処理装置及びその方法プログラムコード、記憶媒体 | |
JP3761318B2 (ja) | 撮像装置調整システム | |
JP2965779B2 (ja) | 電子スチルカメラ装置 | |
JP2008244586A (ja) | 映像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050516 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060418 |