JP4178455B2 - フレーム変換方法、フレーム変換回路および電子カメラ - Google Patents

フレーム変換方法、フレーム変換回路および電子カメラ Download PDF

Info

Publication number
JP4178455B2
JP4178455B2 JP2003012499A JP2003012499A JP4178455B2 JP 4178455 B2 JP4178455 B2 JP 4178455B2 JP 2003012499 A JP2003012499 A JP 2003012499A JP 2003012499 A JP2003012499 A JP 2003012499A JP 4178455 B2 JP4178455 B2 JP 4178455B2
Authority
JP
Japan
Prior art keywords
image data
frame period
frame
field
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003012499A
Other languages
English (en)
Other versions
JP2004228775A (ja
Inventor
勉 久米
真也 石井
徳一郎 山田
芳紀 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003012499A priority Critical patent/JP4178455B2/ja
Priority to KR1020057013301A priority patent/KR20050094445A/ko
Priority to US10/542,639 priority patent/US7898595B2/en
Priority to CNA2003801090804A priority patent/CN1742485A/zh
Priority to PCT/JP2003/016342 priority patent/WO2004066625A1/ja
Priority to TW092137508A priority patent/TWI239773B/zh
Publication of JP2004228775A publication Critical patent/JP2004228775A/ja
Application granted granted Critical
Publication of JP4178455B2 publication Critical patent/JP4178455B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、動画の撮影・再生機能を有する電子カメラに関し、特にNTSC方式からPAL方式へのフレーム変換に関する。
【0002】
【従来の技術】
デジタルスチルカメラは、撮像する画像や撮像結果の画像を確認できるようにするため、LCDファインダを備えているものが多い。また、ビデオ出力端子を備え、外部のテレビ受像機などに画像を表示することのできるデジタルスチルカメラも多い。
【0003】
さらに、デジタルスチルカメラとして、静止画だけでなく動画を撮像することのできる機種もある。そして、デジタルスチルカメラが動画の撮像を行う場合には、パーソナルコンピュータで見ることを考慮して、VGAサイズ(横640ドット×縦480ドット)で、NTSC方式で記録することが多い(例えば、特許文献1、2および3参照)。
【0004】
【特許文献1】
特開平5−122663号公報
【0005】
【特許文献2】
特開平8−172609号公報
【0006】
【特許文献3】
特開2001−313896号公報
【0007】
【発明が解決しようとする課題】
ところで、ビデオカメラ(テレビカメラ)においては、図6Aの上側に示すように、CCDイメージセンサは1フィールド期間ごとに1フィールド期間分ずつ撮像を行い、CCDイメージセンサからは1フィールド期間ごとに1フィールド期間分ずつ画像データが出力される。そして、その画像データが処理され、図6Aの下側に示すように、ビデオ信号としてカメラから出力される。
【0008】
なお、図6において、数字1、2、3、・・・は、任意の連続するフレームあるいはフィールドに付けた通し番号である。また、フィールド番号に付けた添え字Aは、そのフィールドが奇数フィールドであり、添え字Bは偶数フィールドであることを示す。さらに、実線の矢印は奇数フィールドの画像データを示し、破線の矢印は偶数フィールドの画像データを示す(以下、他の図においても同様)。
【0009】
しかし、デジタルスチルカメラは、もともと静止画の撮像がメインであり、この静止画を適切に撮像できるようにしている。このため、デジタルスチルカメラにおいては、図6Bの上側に示すように、CCDイメージセンサは1フレーム期間おきに1フレーム期間分ずつ撮像を行い、CCDイメージセンサからは1フレーム期間おきに1フレーム期間分ずつ画像データが出力される。そして、図6Bの下側に示すように、その1フレーム分の画像データが奇数フィールドの画像データ(実線の矢印)と偶数フィールドの画像データ(破線の矢印)とに分割され、ビデオ信号としてカメラから出力される。
【0010】
そして、この撮像および出力の方法は動画を撮像する場合であっても同じである。したがって、デジタルスチルカメラにより動画の撮像を行うと、画像の撮像間隔がビデオカメラの場合の2倍になるので、画像の動きがぎこちなくなってしまう。
【0011】
また、NTSC方式およびPAL方式における同期周波数およびその周波数比は、図7に示すとおりである。したがって、NTSC方式で動画を撮像した場合(あるいはさらに記録した場合)、PAL方式のテレビ受像機で見るには、画像データをNTSC方式からPAL方式にフレーム変換する必要がある。
【0012】
図8および図9は、そのようなフレーム変換方法の例を示す。この場合、図8および図9の上側はフレーム変換前の画像データを示し、これはCCDイメージセンサの出力や記録された画像データなどが該当する。また、下側はフレーム変換後でPAL方式の画像データを示し、これはカメラから外部のテレビ受像機に出力されるビデオ信号や内蔵のLCDモニタに供給されるビデオ信号などが該当する。なお、以下においては、フレーム周波数の変換についてのみ説明し、水平周波数の変換については説明を省略する。
【0013】
そして、図8の場合には、NTSC方式の第1フレーム〜第3フレームは、そのままPAL方式の第1フレーム〜第3フレームにそれぞれ使用されるが、NTSC方式の第4フレームは、奇数フィールドがPAL方式の第4フレームの奇数フィールド4Aに使用され、偶数フィールドは間引かれる。さらに、NTSC方式の第5フレームは、PAL方式の第4フレームの偶数フィールド4Bと、第5フレームの奇数フィールド5Aとに使用される。
【0014】
そして、以後、NTSC方式とPAL方式とのフレーム周波数比1200:1001が成立するように、NTSC方式のフィールドが間引かれてPAL方式に変換されていく。
【0015】
しかし、このようにNTSC方式の画像データを1200フレームごとに1001フレームに間引く処理は、その間引くフィールドが時間とともに移動していくので、シーケンスが複雑であり、CPUの制御により実行するときには、ソフトウェアにとってかなり大きな負担となってしまう。
【0016】
そこで、図9に示すように、CCDイメージセンサや記録メディアから画像データを1/30秒ごとにフレーム単位で取り出し、これをPAL方式にフレーム変換することが考えられている。つまり、この場合には、原画像データのフレーム周波数と、PAL方式のフレーム周波数との比は、
30Hz:25Hz=6:5
となるので、図9にも示すように、NTSC方式の6フレームにつき1フレームの割り合いで間引くことによりPAL方式の画像データを得ることができ、したがって、フレーム変換の処理が容易になる。
【0017】
しかし、このフレーム変換方法の場合には、PAL方式の5フレームごとに不連続点が現れることになり、スムーズな再生ができない。しかも、デジタルスチルカメラで動画を撮像する場合には、上記のように、ビデオカメラの場合に比べ、画像の動きがぎこちなくなっているので、そのような動画をさらに図9の方式でフレーム変換すると、なおさら動きがぎくしゃくしたものとなってしまう。また、デジタルスチルカメラのLCDモニタが60Hzの同期周波数系に対応していない場合もあり、LCDモニタで表示ができないことがある。
【0018】
この発明は、以上のような問題点を一掃しようとするものである。
【0019】
【課題を解決するための手段】
この発明においては、
第1のフレーム周期の動画の画像データが上記第1のフレーム周期分ずつ書き込まれたメモリから、第1の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出し、
上記メモリから、第2の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出し、
上記読み出した第1の画像データにおける奇数フィールドの画像データと、上記読み出した第2の画像データにおける奇数フィールドの画像データとを所定の割り合いで混合して第2のフレーム周期の奇数フィールドにおける画像データを形成するとともに、
上記読み出した第1の画像データにおける偶数フィールドの画像データと、上記読み出した第2の画像データにおける偶数フィールドの画像データとを所定の割り合いで混合して上記第2のフレーム周期の偶数フィールドにおける画像データを形成し、
上記第2のフレーム周期の奇数フィールドにおける画像データと、上記第2のフレーム周期の偶数フィールドにおける画像データとを交互に出力することにより、上記第1のフレーム周期の画像データを上記第2のフレーム周期の画像データに変換して出力するとともに、
上記混合する割り合いを、上記第2のフレーム周期におけるフィールドごとに、上記第1のフレーム周期と上記第2のフレーム周期とのずれに応じた値に設定する
ようにしたフレーム変換方法
とするものである。
したがって、もとの画像データが第1のフレーム周期であっても、第2のフレーム周期におけるフィールド位置の画像データが平均値補間により形成され、この形成された画像データによりスムーズな動きの動画が表示される。
【0020】
【発明の実施の形態】
〔1〕 デジタルスチルカメラの例
図1は、この発明によるデジタルスチルカメラ10の一例を示す。すなわち、被写体OBJの像が撮像レンズLNSによりCCDイメージセンサ11に投影され、イメージセンサ11からは被写体OBJの3原色の画像信号が取り出され、この画像信号がA/Dコンバータ回路12に供給されてデジタル画像データにA/D変換される。そして、この画像データがカメラ信号処理回路13に供給されてホワイトバランスの補正およびガンマ補正などの処理が施されてからYUV形式の画像データに変換され、この画像データがメモリコントローラ14により画像バス15を通じてメモリ16の表示用エリアに書き込まれる。
【0021】
これと平行してメモリコントローラ14によりメモリ16の表示用エリアから画像データが読み出され、この読み出された画像データが画像バス15を通じて表示用信号処理回路17に供給され、RGB形式の画像データに変換されるとともに、アナログ画像信号にD/A変換され、このアナログ画像信号がLCDパネル18に供給されてカラー画像として表示される。
【0022】
さらに、表示用信号処理回路17において、アナログ画像信号と同時にカラービデオ信号も形成され、このビデオ信号が外部ビデオ出力端子19に取り出され、モニタ用のテレビ受像機(図示せず)に供給される。なお、このとき、メモリ16から読み出されて表示に使用される画像データは、解像度変換回路21により解像度が例えばVGAサイズに変換される。
【0023】
また、メモリ16の表示用エリアにおける画像データがメモリコントローラ14により画像バス15を通じて画像圧縮回路22に供給されて所定のフォーマット、例えばJPEGフォーマットの符号データに画像圧縮され、この符号データが画像バス15を通じてメモリ16の作業用エリアにいったん書き込まれる。そして、このメモリ16の作業用エリアに書き込まれた符号データがメモリコントローラ14により読み出され、この読み出された符号データがマイクロコンピュータ23によりメモリスティック(登録商標)などの外部記憶メディア24に書き込まれて保存される。
【0024】
さらに、再生時には、マイクロコンピュータ23により外部記憶メディア24から符号データが読み出されてメモリ16の作業用エリアにいったん書き込まれるとともに、この書き込まれた符号データが画像圧縮回路22によりもとの画像データに解凍され、この解凍結果の画像データがメモリ16の表示用エリアに書き込まれる。そして、この書き込まれた画像データが上記のように表示用信号処理回路17により処理されてLCDパネル18にカラー画像として表示されるとともに、外部ビデオ出力端子19にカラービデオ信号として取り出される。
【0025】
そして、撮像時および再生時に、LCDパネル18に表示される動画や外部ビデオ出力端子19に取り出されるカラービデオ信号の動画がスムーズな動きとなるようにするため、この発明においては、さらに、以下の信号処理が実行される。
【0026】
〔2〕 動画の撮像時および再生時
動画の撮像時、図2の上側に示すように、CCDイメージセンサ11は、NTSC方式で1フレーム期間おきに1フレーム分ずつ撮像を行い、1フレーム期間おきに1フレーム期間分ずつ画像データを出力するように制御される。したがって、図6により説明したように、デジタルスチルカメラ本来の機能である静止画の撮像もフレーム単位で最適に実行することができる。
【0027】
また、このようにNTSC方式でフレーム単位で撮像するので、外部記憶メディア24に保存される動画およびこれを読み出したときの動画もNTSC方式でフレーム単位となる。
【0028】
〔3〕 フレーム変換方法
〔3−1〕 NTSC方式のビデオ信号を取り出す場合
以下の説明においては、CCDイメージセンサ11の出力などのように、フレーム変換前の画像データを「原画像データ」と呼び、カメラから出力されるビデオ信号などのように、フレーム変換後の画像データやビデオ信号を「出力画像データ」あるいは「出力ビデオ信号」と呼ぶものとする。
【0029】
原画像データは図2の上側に示すようにNTSC方式でフレーム単位で得られるが、今の場合、この原画像データをNTSC方式のビデオ信号の形態で外部に取り出すのであるから、出力ビデオ信号のフレーム周波数は原画像データのフレーム周波数に等しい。
【0030】
そこで、
DOUT:フレーム変換後の出力画像データおよび出力ビデオ信号。
Dn :原画像データのうち、第n番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データ。
Dn+1:原画像データのうち、第(n+1)番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データ。
k :所定の係数(0≦k≦1)
とするとき、図2に示すように、出力画像データDOUTを、
DOUT=(1−k)Dn+k・Dn+1 ・・・ (1)
のような信号成分とする。
【0031】
ただし、出力画像データDOUTが奇数フィールドのときには、原画像データDn、Dn+1は奇数フィールドの画像データとし、画像データDOUTが偶数フィールドのときには、原画像データDn、Dn+1は偶数フィールドの画像データとする。また、このとき、係数kは、例えば、
k=1/4 ・・・ 出力画像データDOUTが奇数フィールドのとき
k=3/4 ・・・ 出力画像データDOUTが偶数フィールドのとき
のように、出力画像データDOUTのフィールドに対応して切り換える。
【0032】
つまり、原画像データの連続する2フレームを、フィールドごとに所定の割り合いで、かつ、その割り合いをフィールド期間ごとに切り換えて混合し、出力ビデオ信号(出力画像データ)とする。
【0033】
このようにすれば、原画像データがフレーム周期であっても、その中間の画像データが平均値補間により1フィールド期間ごとに形成され、この形成された画像データにより表示が行われるので、動画の撮像時のぎこちなさが改善される。
【0034】
〔3−2〕 PAL方式のビデオ信号を取り出す場合
原画像データは図3Aに示すように得られるが(図3Aは図2の上側と同じ)、この原画像データをPAL方式のビデオ信号として取り出すとき、図3Bに示すように変換して取り出す。
【0035】
すなわち、この場合にも、(1)式にしたがって出力画像データDOUTを形成する。このとき、係数kは、原画像データDn、Dn+1と出力画像データDOUTとのフレームのずれに対応して、出力画像データDOUTのフィールド期間ごとに、所定の大きさずつ変更する。したがって、原画像データの連続する2フレームを、フィールドごとに所定の割り合いで混合して、かつ、その割り合いをフィールド期間ごとに、原画像データDn、Dn+1とのずれに対応して変更して出力ビデオ信号を得ることになる。
【0036】
なお、図3の場合、出力画像データの第4フレームの偶数フィールド4Bに原画像データの第6フレームの偶数フィールド(破線の矢印)が使用され、出力画像データの第5フレームの奇数フィールド5Aに原画像データの第5フレームの奇数フィールド(実線の矢印)が使用されるので、出力画像データの第4フレームの偶数フィールド4Bと、第5フレームの奇数フィールド5Aとの時間関係が逆転するかのように見えるが、以下の理由により問題になることはない。
【0037】
すなわち、出力画像データの第4フレームの偶数フィールド4Bおよび第5フレームの奇数フィールド5Aに使用される原画像データは同じであるとともに、原画像データにおける奇数フィールドと偶数フィールドとは、同一時刻の信号である。また、出力画像データの第4フレームの偶数フィールド4Bと、第5フレームの奇数フィールド5Aとでは、それらのフィールドに使用される原画像データの第5フレームおよび第6フレームの割り合いを異ならせ、出力画像データの第4フレームの偶数フィールド4Bでは、原画像データの第5フレームの割り合いを多く、出力画像データの第5フレームの奇数フィールド5Aでは、原画像データの第6フレームの割り合いを多くする。この結果、出力画像データの第4フレームの偶数フィールド4Bと、第5フレームの奇数フィールド5Aとの時間関係が逆転することはない。
【0038】
したがって、図3Bのようにすれば、原画像データがNTSC方式のフレーム周期であっても、PAL方式のフィールド位置の画像データが平均値補間により形成されて表示が行われるので、動画の撮像時のぎこちなさが改善される。
【0039】
〔4〕 原画像データから出力画像データを形成する回路の例
原画像データを出力画像データ(出力ビデオ信号)にフレーム変換する処理は、例えば図4に示すように、主としてメモリコントローラ14および表示用信号処理回路17により実行される。なお、以下においては、出力画像データがPAL方式の画像データの場合を中心にして説明する。また、メモリ16には、原画像データが表示画面に対応するビットマップ形式で書き込まれ、水平走査位置に対応するアドレスから原画像データが読み出されるものとする。
【0040】
図7からも明かなように、NTSC方式の1200フレーム期間と、PAL方式の1001フレーム期間とが等しい長さであり、この期間ごとにNTSC方式のフレームと、PAL方式のフレームとのずれが一巡する。
【0041】
このため、表示用信号処理回路17は、各種のタイミング信号を形成する信号形成回路171、172を有する。そして、信号形成回路171は、図3Cに示すように、NTSC方式の1200フレームごとにパルスRSTPを出力するとともに、図3Dに示すように、NTSC方式のフレーム周期のパルスNTFMも出力する。
【0042】
また、信号形成回路172は、NTSC方式のフィールド周期で、あるいは図3E、Fに示すようにPAL方式のフィールド周期で、パルスPAFDおよび矩形波信号PFDSを出力するものである。そして、マイクロコンピュータ23から信号形成回路172に所定の制御信号が供給され、パルスPAFDおよび信号PFDSの周期が、NTSC方式のフィールド周期あるいはPAL方式のフィールド周期に設定される。また、信号形成回路172には、信号形成回路171からパルスRSTPも供給される。
【0043】
さらに、メモリ16から原画像データを読み出すとき、水平走査位置に対応するアドレスから読み出すので、メモリコントローラ14には、2組のレジスタ(ラッチ回路)141〜143、144〜146と、加算回路147と、データセレクタ148とが設けられる。この場合、レジスタ141〜143は、奇数フィールドの開始アドレス(第1番目の奇数ラインの開始アドレス)ODSTをメモリ16のアドレスカウンタ(図示せず)に設定するためのものであり、レジスタ144〜146は、1ラインあたりのアドレス数(画素数)を示すデータADNOを保持するためのものである。
【0044】
なお、メモリ16は、図示はしないが、アドレスカウンタを有し、開始アドレスが供給されると、読み出しアドレスが、その開始アドレスから奇数ラインごとに、あるいは偶数ラインごとにインクリメントされて奇数フィールドあるいは偶数フィールドの画像データが順次読み出されるものとする。
【0045】
そして、マイクロコンピュータ23からレジスタ141に奇数フィールドの開始アドレスODSTおよびクロックCKが供給されると、その開始アドレスODSTがレジスタ141に保持され、このレジスタ141の出力と、信号形成回路171からのパルスNTFMとがレジスタ142に供給されて奇数フィールドの開始アドレスODSTがレジスタ142に保持される。さらに、レジスタ142の出力と、信号形成回路172からのパルスPAFDとがレジスタ143に供給され、レジスタ143からはパルスPAFDごとに奇数フィールドの開始アドレスODSTが出力される。
【0046】
同様に、マイクロコンピュータ23からレジスタ144に1ラインあたりのアドレス数を示すデータADNOが供給され、このデータレジスタ146から取り出される。
【0047】
そして、加算回路147において、レジスタ143から出力される奇数フィールドの開始アドレスODSTと、レジスタ146から出力される1ラインあたりのアドレス数のデータADNOとが加算されるので、加算回路147からは偶数フィールドの開始アドレス(第1番目の偶数ラインの開始アドレス)EVSTが出力される。
【0048】
そして、これら奇数フィールドの開始アドレスODSTおよび偶数フィールドの開始アドレスEVSTがデータセレクタ148に供給されるとともに、データセレクタ148には信号形成回路172からの信号PFDSが制御信号として供給される(今の場合、信号PFDSはPAL方式のフィールド周期で反転する)。したがって、図3Gに示すように、データセレクタ148からは、奇数フィールドの開始アドレスODSTと偶数フィールドの開始アドレスEVSTとが、PAL方式のフィールド期間ごと交互に取り出される。
【0049】
そして、このデータセレクタ148から取り出された開始アドレスがメモリ16に供給され、したがって、メモリ16からは、原画像データがPAL方式のフィールド周期で取り出される。
【0050】
そして、この取り出された原画像データが、表示用信号処理回路17に設けられた補間処理回路76に供給される。この補間処理回路76は、(1)式にしたがった補間処理により、メモリ16の原画像データを出力画像データに変換するためのものであり、このため、変換回路176と、演算回路177〜179とを有する。この場合、変換回路176は、メモリ16から読み出された原画像データのうち、第n番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データDnと、第(n+1)番目のフレームにおける奇数フィールドあるいは偶数フィールドの画像データDn+1とを同時に出力するための回路である。
【0051】
そして、変換回路176から出力される画像データDnおよびDn+1が減算回路177に供給されてデータDn+1からデータDnが減算され、その減算結果(Dn+1−Dn)が乗算回路178に供給されるとともに、後述する係数形成回路73から乗算回路178に係数kが供給されて値(Dn+1−Dn)に乗算される。そして、その乗算結果k(Dn+1−Dn)が加算回路179に供給されるとともに、変換回路176からのデータDnが加算回路179に供給される。
【0052】
したがって、加算回路179からは、
Figure 0004178455
で示される画像データDOUTが出力される。
【0053】
そして、この画像データDOUTが、アナログのカラービデオ信号にD/A変換されてから外部ビデオ出力端子19に取り出される。したがって、外部ビデオ出力端子19に接続されたモニタ用のテレビ受像機には、PAL方式で画像が表示される。
【0054】
そして、この場合、その表示された画像の動きを滑らかにするため、表示用信号処理回路17には、係数形成回路73が設けられる。この係数形成回路73は、上述のように、NTSC方式のフレームと、PAL方式のフレームとのずれに対応して変化する係数kを形成するものである。
【0055】
この例においては、原画像データからPAL方式の出力画像データを形成するとき、その出力画像データの時間位置の分解能をPAL方式の1/128フィールド期間とする場合である。
【0056】
そして、係数形成回路73は、所定の変化分をPAL方式の1フィールド期間ごとに積算して係数kを形成するものであり、このため、係数形成回路73は、初期値と変化分とを切り換えるデータセレクタ173と、積算を行うための加算回路174と、その積算結果を保持する7ビットのレジスタ(ラッチ回路)175とを有する。また、マイクロコンピュータ23から初期値および変化分として、例えば「0」および「76」が出力され、データセレクタ173および加算回路174に供給される。さらに、信号形成回路171からデータセレクタ173にパルスRSTPが制御信号として供給される。
【0057】
すると、RSTP=“1”になったとき、データセレクタ173からは初期値「0」が取り出され、この取り出された初期値「0」が信号形成回路172からのパルスPAFDによりレジスタ175に保持される。したがって、図3Hに示すように、パルスRSTPから1フィールド期間(PAL方式の1フィールド期間)は、レジスタ175の出力Qkは「0」となっている。また、このとき、レジスタ175の出力Qk(=0)と、マイクロコンピュータ23からの変化分「76」とが加算回路174において加算され、その加算値「76」が加算回路174から出力されるようになる。
【0058】
続いて、RSTP=“0”になり、その後、1フィールド期間(フィールド1Aの期間)が経過すると、その経過後の時点には、RSTP=“0”なので、加算回路174の出力、今の場合、値「76」がデータセレクタ173を通じてレジスタ175に供給され、パルスPFDSによりレジスタ175に保持される。したがって、図3Hに示すように、この時点からQk=76となる。また、これにより加算回路174の出力は「152」になる。
【0059】
さらに、PAL方式の1フィールド期間が経過すると、加算回路174の出力「152」がデータセレクタ173を通じてレジスタ175に供給され、パルスPFDSによりレジスタ175に保持される。ただし、このとき、レジスタ175は7ビットのレジスタなので、加算回路174の出力「152」のうち、下位7ビットだけがレジスタ175にラッチされることになり、図3Hに示すように、レジスタ175の出力Qkは「24」(=152−128)となる。
【0060】
そして、以後、以上のような動作がPAL方式の1フィールド期間ごとに繰り返されるので、レジスタ175の出力Qkは、PAL方式の1フィールド期間ごとに図3Hに示すように変化していくことになる。そして、この出力QkがLSB方向に7ビットだけシフトされて乗算回路178に係数kとして供給される。つまり、値Qk/128が係数kとして乗算回路178に供給される。なお、(1)式の両辺を128倍すると、
Figure 0004178455
となる。
【0061】
したがって、図3の場合、出力画像データの第1フレームの奇数フィールド1Aの期間では、Qk=0(k=0)なので、図3Iに示すように、原画像データの第1フレームの奇数フィールドと第2フレームの奇数フィールドとが、128:0の割り合いで混合されて奇数フィールド1Aの画像データが形成される。また、出力画像データの第1フレームの偶数フィールド1Bの期間では、Qk=76(k=76/128)なので、原画像データの第1フレームの偶数フィールドと第2フレームの偶数フィールドとが、52:76の割り合いで混合されて偶数フィールド1Bの画像データが形成される。
【0062】
さらに、出力画像データの第2フレームの奇数フィールド2Aの期間では、Qk=24(k=24/128)なので、原画像データの第2フレームの奇数フィールドと第3フレームの奇数フィールドとが、104:24の割り合いで混合されて奇数フィールド2Aがの画像データが形成される。また、出力画像データの第2フレームの偶数フィールド2Bの期間では、Qk=100(k=100/128)なので、原画像データの第2フレームの偶数フィールドと第3フレームの偶数フィールドとが、28:100の割り合いで混合されて偶数フィールド2Bの画像データが形成される。
【0063】
そして、以下同様に原画像データの連続する2フレームの各フィールドの画像データが、PAL方式のフィールド期間ごとに図3Iに示すような割り合いで混合されて出力画像データDOUT(出力ビデオ信号)が形成される。
【0064】
したがって、原画像データがNTSC方式のフレーム周期であっても、PAL方式で撮像したときのフィールド位置の画像データが平均値補間により形成されることになり、この形成された画像データが出力画像データDOUTとされるので、動画の撮像時のぎこちなさが改善され、スムーズな動きとなる。
【0065】
一方、NTSC方式の出力画像データDOUTを得る場合には、マイクロコンピュータ23により信号形成回路172が制御されてパルスPAFDおよび信号PFDSの周期がNTSC方式のフィールド周期に設定される。また、マイクロコンピュータ23から初期値および変化分として、例えば「32」および「64」が出力され、データセレクタ173および加算回路174に供給される。
【0066】
したがって、この場合には、係数形成回路73の出力Qkは、NTSC方式の1フィールド期間ごとに「32」あるいは「96」に交互に切り換わるので、補間処理回路76における混合比となる係数kは、NTSC方式の1フィールド期間ごとに1/4あるいは3/4に交互に切り換わることになる。したがって、図2により説明した処理となるので、NTSC方式の出力画像データDOUTを得る場合も、スムーズな動きの動画を表示することができる。
【0067】
〔5〕 補間処理回路76の他の例
図5は補間処理回路76の他の例を示す。この例においては、変換回路176から出力される画像データDnおよびDn+1が乗算回路271、272に供給されるとともに、係数形成回路73から係数(1−k)、kが取り出され、これら係数(1−k)、kが乗算回路271、272に供給される。そして、乗算回路271、272の乗算出力が加算回路179に供給され、加算回路179からは、(1)式で示される画像データDOUTが取り出される。
【0068】
〔この明細書で使用している略語の一覧〕
A/D :Analog to Digital
CCD :Charge Coupled Device
CPU :Central Processing Unit
JPEG:Joint Photographic Experts Group
LSB :Least Significant Bit
NTSC:National Television System Committee
PAL :Phase Alternation by Line
RGB :Red, Green and Blue
VGA :Video Graphics Array
YUV :Y-signal, U-signal and V-signal
【0069】
【発明の効果】
この発明によれば、原画像データがNTSC方式のフレーム周期であっても、PAL方式のフィールド位置の画像データを平均値補間により形成し、この形成した画像データを表示に使用するようにしているので、スムーズな動きの動画を表示することができる。
【図面の簡単な説明】
【図1】この発明の一形態を示す系統図である。
【図2】この発明を説明するための図である。
【図3】この発明を説明するための図である。
【図4】この発明の一部を示す系統図である。
【図5】この発明を説明するための図である。
【図6】この発明を説明するための図である。
【図7】この発明を説明するための図である。
【図8】この発明を説明するための図である。
【図9】この発明を説明するための図である。
【符号の説明】
10…デジタルスチルカメラ、11…CCDイメージセンサ、12…A/Dコンバータ回路、13…カメラ信号処理回路、14…メモリコントローラ、15…画像バス、16…メモリ、17…表示用信号処理回路、18…LCDパネル、19…外部ビデオ出力端子、21…解像度変換回路、22…画像圧縮回路、23…マイクロコンピュータ、24…外部記憶メディア、141〜146および175…レジスタ、148および173…データセレクタ、171および172…信号形成回路、176…変換回路

Claims (13)

  1. 第1のフレーム周期の動画の画像データが上記第1のフレーム周期分ずつ書き込まれたメモリから、第1の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出し、
    上記メモリから、第2の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出し、
    上記読み出した第1の画像データにおける奇数フィールドの画像データと、上記読み出した第2の画像データにおける奇数フィールドの画像データとを所定の割り合いで混合して第2のフレーム周期の奇数フィールドにおける画像データを形成するとともに、
    上記読み出した第1の画像データにおける偶数フィールドの画像データと、上記読み出した第2の画像データにおける偶数フィールドの画像データとを所定の割り合いで混合して上記第2のフレーム周期の偶数フィールドにおける画像データを形成し、
    上記第2のフレーム周期の奇数フィールドにおける画像データと、上記第2のフレーム周期の偶数フィールドにおける画像データとを交互に出力することにより、上記第1のフレーム周期の画像データを上記第2のフレーム周期の画像データに変換して出力するとともに、
    上記混合する割り合いを、上記第2のフレーム周期におけるフィールドごとに、上記第1のフレーム周期と上記第2のフレーム周期とのずれに応じた値に設定する
    ようにしたフレーム変換方法。
  2. 請求項1に記載のフレーム変換方法において、
    上記第2の画像データは、上記第1の画像データの次のフレームの画像データである
    ようにしたフレーム変換方法。
  3. 請求項1に記載のフレーム変換方法において、
    上記第1のフレーム周期はNTSC方式のフレーム周期であり、
    上記第2のフレーム周期はPAL方式のフレーム周期である
    ようにしたフレーム変換方法。
  4. 請求項1に記載のフレーム変換方法において、
    上記第1のフレーム周期はNTSC方式のフレーム周期であり、
    上記第2のフレーム周期を、NTSC方式のフレーム周期あるいはPAL方式のフレーム周期に切り換える
    ようにしたフレーム変換方法。
  5. 第1のフレーム周期でその第1のフレーム周期分ずつ動画の画像データが書き込まれるメモリと、
    このメモリから、第1の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ取り出すとともに、第2の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ取り出す第1の回路と、
    上記取り出した第1の画像データにおける奇数フィールドの画像データと、上記取り出した第2の画像データにおける奇数フィールドの画像データとを所定の割り合いで混合して第2のフレーム周期の奇数フィールドにおける画像データとして出力するとともに、上記取り出した第1の画像データにおける偶数フィールドの画像データと、上記取り出した第2の画像データにおける偶数フィールドの画像データとを所定の割り合いで混合して上記第2のフレーム周期の偶数フィールドにおける画像データとして出力する第2の回路と、
    上記混合する割り合いを、上記第2のフレーム周期におけるフィールドごとに、上記第1のフレーム周期と上記第2のフレーム周期とのずれに応じた値に設定する第3の回路と
    を有するフレーム変換回路。
  6. 請求項5に記載のフレーム変換回路において、
    上記第2の画像データは、上記第1の画像データの次のフレームの画像データである
    ようにしたフレーム変換回路。
  7. 請求項5に記載のフレーム変換回路において、
    上記第1のフレーム周期はNTSC方式のフレーム周期であり、
    上記第2のフレーム周期はPAL方式のフレーム周期である
    ようにしたフレーム変換回路。
  8. 請求項5に記載のフレーム変換回路において、
    上記第2のフレーム周期を、NTSC方式のフレーム周期あるいはPAL方式のフレーム周期に切り換える第4の回路を有し、
    上記第1のフレーム周期がNTSC方式のフレーム周期である
    ようにしたフレーム変換回路。
  9. 被写体の像が投影されて第1のフレーム周期で画像データを出力するイメージセンサと、
    上記画像データが書き込まれるメモリと、
    このメモリから、第1の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ取り出すとともに、第2の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ取り出す第1の回路と、
    上記取り出した第1の画像データにおける奇数フィールドの画像データと、上記取り出した第2の画像データにおける奇数フィールドの画像データとを所定の割り合いで混合して第2のフレーム周期の奇数フィールドにおける画像データとして出力するとともに、上記取り出した第1の画像データにおける偶数フィールドの画像データと、上記取り出した第2の画像データにおける偶数フィールドの画像データとを所定の割り合いで混合して上記第2のフレーム周期の偶数フィールドにおける画像データとして出力する第2の回路と、
    上記混合する割り合いを、上記第2のフレーム周期におけるフィールドごとに、上記第1のフレーム周期と上記第2のフレーム周期とのずれに応じた値に設定する第3の回路と、
    上記第2の回路から出力される上記画像データを外部に出力する外部端子と
    を有する電子カメラ。
  10. 請求項9に記載の電子カメラにおいて、
    上記第2の画像データは、上記第1の画像データの次のフレームの画像データである
    ようにした電子カメラ。
  11. 請求項9に記載の電子カメラにおいて、
    上記第2のフレーム周期を、NTSC方式のフレーム周期あるいはPAL方式のフレーム周期に切り換える第4の回路を有し、
    上記第1のフレーム周期がNTSC方式のフレーム周期である
    ようにした電子カメラ。
  12. 被写体の像が投影されて第1のフレーム周期で画像データを出力する撮像手段と、
    上記画像データを記憶する記憶手段と、
    この記憶手段から、第1の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出すとともに、第2の画像データにおける奇数フィールドの画像データおよび偶数フィールドの画像データをそれぞれ読み出す読み出し手段と、
    上記読み出した第1の画像データにおける奇数フィールドの画像データと、上記読み出した第2の画像データにおける奇数フィールドの画像データとを所定の割り合いで混合して第2のフレーム周期の奇数フィールドにおける画像データとして出力するとともに、上記読み出した第1の画像データにおける偶数フィールドの画像データと、上記読み出した第2の画像データにおける偶数フィールドの画像データとを所定の割り合いで混合して上記第2のフレーム周期の偶数フィールドにおける画像データとして出力する画像データ混合手段と、
    この混合手段において画像データを混合するときの上記割り合いを、上記第2のフレーム周期におけるフィールドごとに、上記第1のフレーム周期と上記第2のフレーム周期とのずれに応じた値に設定する設定手段と
    を有する電子カメラ。
  13. 請求項12に記載の電子カメラにおいて、
    上記読み出した奇数フィールドの画像データと、次に読み出した奇数フィールドの画像データとは、連続するフレームにおける画像データであり、
    上記読み出した偶数フィールドの画像データと、次に読み出した偶数フィールドの画像データとは、連続するフレームにおける画像データである
    ようにした電子カメラ。
JP2003012499A 2003-01-21 2003-01-21 フレーム変換方法、フレーム変換回路および電子カメラ Expired - Fee Related JP4178455B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003012499A JP4178455B2 (ja) 2003-01-21 2003-01-21 フレーム変換方法、フレーム変換回路および電子カメラ
KR1020057013301A KR20050094445A (ko) 2003-01-21 2003-12-19 프레임 변환 방법, 프레임 변환 회로 및 전자 카메라
US10/542,639 US7898595B2 (en) 2003-01-21 2003-12-19 Frame conversion method, frame conversion circuit, and electronic camera
CNA2003801090804A CN1742485A (zh) 2003-01-21 2003-12-19 帧转换方法、帧转换电路、以及电子摄影机
PCT/JP2003/016342 WO2004066625A1 (ja) 2003-01-21 2003-12-19 フレーム変換方法、フレーム変換回路および電子カメラ
TW092137508A TWI239773B (en) 2003-01-21 2003-12-30 Frame conversion method, frame conversion circuit, and electronic camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003012499A JP4178455B2 (ja) 2003-01-21 2003-01-21 フレーム変換方法、フレーム変換回路および電子カメラ

Publications (2)

Publication Number Publication Date
JP2004228775A JP2004228775A (ja) 2004-08-12
JP4178455B2 true JP4178455B2 (ja) 2008-11-12

Family

ID=32767332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003012499A Expired - Fee Related JP4178455B2 (ja) 2003-01-21 2003-01-21 フレーム変換方法、フレーム変換回路および電子カメラ

Country Status (6)

Country Link
US (1) US7898595B2 (ja)
JP (1) JP4178455B2 (ja)
KR (1) KR20050094445A (ja)
CN (1) CN1742485A (ja)
TW (1) TWI239773B (ja)
WO (1) WO2004066625A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962928B2 (ja) * 2003-05-12 2007-08-22 ソニー株式会社 画像データの変換方法および変換回路と、撮像装置
JP4312238B2 (ja) * 2007-02-13 2009-08-12 株式会社ソニー・コンピュータエンタテインメント 画像変換装置および画像変換方法
KR100985003B1 (ko) * 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ccd 센서의 영상처리 장치 및 그 영상처리 방법
CN103108148B (zh) * 2011-11-14 2016-03-30 联想(北京)有限公司 视频帧的插帧方法以及信息处理设备
KR102102177B1 (ko) 2013-09-03 2020-05-29 삼성전자 주식회사 반도체 장치 및 그 구동 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3376613D1 (en) 1982-11-30 1988-06-16 British Telecomm Television signal transmission
JP2578859B2 (ja) * 1987-12-25 1997-02-05 日本電気株式会社 テレビジョン信号方式変換装置
GB8822415D0 (en) * 1988-09-23 1988-10-26 Snell & Wilcox Electronic Cons Video signal processing & video stores
JPH0478284A (ja) 1990-07-17 1992-03-12 Victor Co Of Japan Ltd フレームレート変換装置
US5268758A (en) * 1990-09-26 1993-12-07 Matsushita Electric Industrial Co., Ltd. Horizontal line interpolation circuit and image pickup apparatus including it
JPH04151994A (ja) 1990-10-16 1992-05-25 Ricoh Co Ltd 電子スチルカメラ
JP2502829B2 (ja) * 1991-03-22 1996-05-29 松下電器産業株式会社 画像表示装置
JP2584138B2 (ja) * 1991-03-28 1997-02-19 松下電器産業株式会社 テレビジョン方式変換装置
JPH08172609A (ja) * 1994-12-15 1996-07-02 Fuji Photo Optical Co Ltd Ntsc−pal変換装置
EP0860081B1 (en) * 1996-09-11 2003-04-02 Koninklijke Philips Electronics N.V. Adaptive picture delay
JP3953561B2 (ja) * 1996-10-15 2007-08-08 株式会社日立製作所 画像信号のフォーマット変換信号処理方法及び回路
JP4022935B2 (ja) * 1997-01-21 2007-12-19 ソニー株式会社 画像処理装置および処理方法
JPH11215441A (ja) 1998-01-21 1999-08-06 Sony Corp ビデオカメラの画像処理回路
JPH11289521A (ja) 1998-04-03 1999-10-19 Sony Corp 映像信号処理装置、映像信号処理方法及び映像信号処理方法を記録した記録媒体
JP2002290925A (ja) * 2001-03-26 2002-10-04 Fuji Photo Optical Co Ltd 内視鏡用テレビジョン方式変換装置
JP3962928B2 (ja) * 2003-05-12 2007-08-22 ソニー株式会社 画像データの変換方法および変換回路と、撮像装置

Also Published As

Publication number Publication date
KR20050094445A (ko) 2005-09-27
TW200425741A (en) 2004-11-16
US7898595B2 (en) 2011-03-01
JP2004228775A (ja) 2004-08-12
CN1742485A (zh) 2006-03-01
US20060256236A1 (en) 2006-11-16
TWI239773B (en) 2005-09-11
WO2004066625A1 (ja) 2004-08-05

Similar Documents

Publication Publication Date Title
JP4424088B2 (ja) 撮像装置
JP2005244980A (ja) 撮像信号を処理する装置及びその方法
JP3962928B2 (ja) 画像データの変換方法および変換回路と、撮像装置
JP2001045364A (ja) ディジタル・カメラおよびその動作制御方法
KR100779767B1 (ko) 화상신호 생성유닛, 디지털 카메라, 및 화상신호 생성방법
US6762792B1 (en) Digital still camera
JP4178455B2 (ja) フレーム変換方法、フレーム変換回路および電子カメラ
JP4214781B2 (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP2000299810A (ja) 撮像装置
JP3588409B2 (ja) 表示切り替え式デジタルカメラ
JP3251052B2 (ja) 縦横変換回路
JP3651477B2 (ja) 画像信号処理装置
JP3734104B2 (ja) 画像信号処理装置
JP2006229552A (ja) ビデオカメラ
JP3777723B2 (ja) 電子スチルカメラ
JP2728135B2 (ja) 撮像装置
JP2005006078A (ja) 撮像装置
JP2005094388A (ja) テレビジョン受像機および映像信号処理方法
JPH07154696A (ja) 映像信号処理装置
JP2006180108A (ja) デジタルカメラ
JP2006157433A (ja) 画像処理装置
JP2001069520A (ja) 撮像装置
JPH05153426A (ja) 映像信号処理装置
JPH09284636A (ja) カメラ装置
JPH05191785A (ja) 走査線変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130905

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees