上述した内挿画像を生成する一般的なプロセスの説明では、2枚の原画像から内挿画像を1枚生成する場合を例に説明したが、例えば、24Hzのフィルム素材を120Hzに変換する場合、2枚の原画像から4枚の内挿画像を生成する必要がある。
図9は24Hzの映像信号を120Hzの映像信号に変換する場合の処理のシーケンスを表す図である。図9に示すとおり、24Hzの入力信号に対して、120Hzの出力信号を得るためには、1/120秒ごとに1枚の内挿画像を生成する演算能力が必要となるが、回路の動作周波数が早くなりすぎて、回路化が難しくなる等の問題から通常は1/60秒ごとに2枚の内挿ベクトルを並列処理で算出し、一旦メモリに格納しておいたのち、最適なタイミングでそのベクトルと、内挿画像生成に利用する原画像を読み出すことで、出力信号を生成している。
図10は、2枚の原画像の動きベクトルから予測される4枚の内挿画像であって、それぞれ個別に算出された内挿画像を、原画像の間に内挿した場合の様子を示す図である。図10に示す例では、時刻0における原画像f(0)と時刻tにおける原画像f(t)との動きベクトルから、0.2t、0.4t、0.6t、0.8tの各時刻において予測される内挿画像101、102、103、104に対応して割り付けられるベクトル(以下では、内挿ベクトルと呼ぶ)をそれぞれ個別に算出し、算出された内挿ベクトルに基づいて内挿画像101、102、103、104の映像信号を生成して、原画像f(0)と原画像f(t)との間に内挿する。
つまり、各内挿画像に対応する内挿ベクトルは、それぞれ個別の演算処理を実行することによって算出されるため、内挿画像によって動物体の動きが不連続になることなく最適に補間され、ジャダー(すなわち、残像)が発生せず、画質の劣化が抑制される。
しかしながら、図10に示す例の場合、4枚分の内挿ベクトルを計算し、その結果をメモリに格納する必要があるため、図9の処理シーケンスとともに考えると、1/60秒ごとに2枚の内挿ベクトルを算出し、メモリに格納するための演算回路とメモリ容量、メモリのバンド幅が必要となる。したがって、回路構成が複雑になり、コストが高くなってしまうという問題が生じる。
一方、動きベクトルを用いることなく簡単に内挿画像を生成する方法として、単純に原画像を繰り返し出力する方法が考えられる。
図11は、原画像のみを用いて画像を補間した場合の様子を示す図である。図11に示す例では、時刻0.2tおよび0.4tにおける内挿画像111および112として原画f(0)を内挿し、時刻0.6tおよび0.8tにおける内挿画像113および114として原画f(t)を内挿している。
このため、図10に示す例と異なって、原画f(0)または原画f(t)の映像信号を繰り返し出力しているため、内挿ベクトルを算出して内挿画像を生成するための演算回路や内挿ベクトルを格納するメモリを備える必要がないため、回路構成が簡素になり、コストを低減することが可能となる。
しかしながら、この場合、図11に示すとおり、動物体の動きが不連続になるため、残像がジャダーとなって発生、画質劣化を招くことになる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、低コストでジャダーによる画質の劣化を低減させることが可能な画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。
本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは2以上の偶数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k−1(kは1以上n/2以下の整数)と時刻t2kとの中間の時刻τkに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻τkに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは2以上の偶数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する。例えば、n=4の場合、第1の時刻と第2の時刻との間において、t1、t2、t3、t4(t1<t2<t3<t4)の各時刻における内挿画像が生成される。
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k−1(kは1以上n/2以下の整数)と時刻t2kとの中間の時刻τkに対応する内挿ベクトルを決定する。
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、t1、t2の中間の時刻(t1+t2)/2における内挿ベクトル、および、t3、t4の中間の時刻(t3+t4)/2における内挿ベクトルを決定する。
また、上記の構成によれば、時刻t2k−1と時刻t2kとにおいて同一の内挿画像が生成され、内挿画像生成手段は、その内挿画像を、上記時刻τkに対応する内挿ベクトルから生成する。
例えば、内挿画像生成手段は、t1、t2の時刻において生成される同一の内挿画像を、時刻(t1+t2)/2における内挿ベクトルを用いて、原画像において対応する映像信号を読み出し、t3、t4の時刻において生成される同一の内挿画像を、時刻(t3+t4)/2における内挿ベクトルを用いて、原画像において対応する映像信号を読み出すことによって生成する。
なお、時刻τkに対応する内挿ベクトルは、第1の原画像および第2の原画像に他の原画像を加えて、例えば3枚以上の原画像を用いて算出されてもよく、特に限定はされない。
つまり、本発明に係る画像補間装置では、偶数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、時刻t2k−1および時刻t2kの組み合わせごとに、それらの中間の時刻において内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻t2k−1および時刻t2kにおける内挿画像の内挿ベクトルとして用いる。
これにより、本発明に係る画像補間装置では、偶数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が1/2となる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が1/2になると共に、メモリへの書き込みアクセスも1/2となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
しかも、後述するジャダー幅DJおよびジャダー間隔TJが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
本発明に係る画像補間方法は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは2以上の偶数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間方法であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k−1(kは1以上n/2以下の整数)と時刻t2kとの中間の時刻τkに対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻τkに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから算出された動きベクトルから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻t1における内挿画像として上記第1の原画像と同一の画像を生成すると共に、時刻t2kと時刻t2k+1とにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を内挿する。例えば、n=5の場合、第1の時刻と第2の時刻との間において、t1、t2、t3、t4、t5(t1<t2<t3<t4<t5)の各時刻における内挿画像が生成される。
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2kに対応する内挿ベクトルを決定する。
例えば、内挿ベクトル決定手段は、原画像の内挿ベクトルから、t2およびt4における内挿ベクトルを決定する。
また、上記の構成によれば、内挿画像生成手段は、第1の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻t2kと時刻t2k+1とにおける内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する。
例えば、内挿画像生成手段は、t1において内挿される内挿画像として第1の原画像を生成する。また、内挿画像生成手段は、t2、t3の時刻において内挿される同一の内挿画像を、時刻t2における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、t4、t5時刻において内挿される同一の内挿画像を、時刻t4における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
なお、時刻t2k対応する内挿ベクトルは、第1の原画像および第2の原画像に他の原画像を加えて、例えば3枚以上の原画像を用いて算出されてもよく、特に限定はされない。
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も早い時刻に内挿される内挿画像以外については、時刻t2kおよび時刻t2k+1の組み合わせごとに、時刻t2kにおいて内挿画像を内挿すると仮定した場合に予測される内挿ベクトルを算出し、時刻t2kおよび時刻t2k+1における内挿画像の内挿ベクトルとして用いる。
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が1/2以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が1/2以下になると共に、メモリへの書き込みアクセスも1/2以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
しかも、後述するジャダー幅DJおよびジャダー間隔TJが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
本発明に係る画像補間方法は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間方法であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻t1における内挿画像として上記第1の原画像と同一の画像を生成すると共に、時刻t2kと時刻t2k+1とにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴とすることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻tnにおける内挿画像として上記第2の原画像と同一の画像を生成すると共に、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を内挿する。例えば、n=5の場合、第1の時刻と第2の時刻との間において、t1、t2、t3、t4、t5(t1<t2<t3<t4<t5)の各時刻における内挿画像が内挿される。
また、上記の構成によれば、内挿ベクトル決定手段は、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2kに対応する内挿ベクトルを決定する。
例えば、内挿ベクトル決定手段は、原画像の動きベクトルから、t2およびt4における内挿ベクトルを決定する。
また、上記の構成によれば、内挿画像生成手段は、第2の原画像と同一の画像を生成する。そして、内挿画像生成手段は、時刻t2k−1と時刻t2kとにおける内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する。
例えば、内挿画像生成手段は、t5において内挿される内挿画像として第2の原画像を生成する。また、内挿画像生成手段は、t1、t2の時刻において内挿される同一の内挿画像を、時刻t2における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成し、t3、t4時刻において内挿される同一の内挿画像を、時刻t4における内挿ベクトルを用いて、原画像において対応する映像信号を読み出して生成する。
なお、時刻t2k対応する内挿ベクトルは、第1の原画像および第2の原画像に他の原画像を加えて、例えば3枚の原画像を用いて算出されてもよく、特に限定はされない。
つまり、本発明に係る画像補間装置では、奇数枚の内挿画像を生成する場合、全ての内挿画像について個別の内挿ベクトルを算出する演算処理は行われず、最も遅い時刻に内挿される内挿画像以外については、時刻t2k−1および時刻t2kの組み合わせごとに、時刻t2kにおいて内挿画像を生成すると仮定した場合に予測される内挿ベクトルを算出し、時刻t2k−1および時刻t2kにおける内挿画像の内挿ベクトルとして用いる。
これにより、本発明に係る画像補間装置では、奇数枚の内挿画像を生成するための内挿ベクトルを算出する演算処理は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、演算回路の構成および処理が1/2以下になる。また、算出した内挿ベクトルのデータ量についても、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して、メモリにおける内挿ベクトルの記憶領域の容量が1/2以下になると共に、メモリへの書き込みアクセスも1/2以下となる。したがって、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。
しかも、後述するジャダー幅DJおよびジャダー間隔TJが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
本発明に係る画像補間方法は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間方法であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する内挿ベクトルを決定する内挿ベクトル決定ステップと、時刻tnにおける内挿画像として上記第2の原画像と同じ画像を生成すると共に、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成ステップとを含んでいることを特徴としている。
上記の構成によれば、本発明に係る画像補間装置と同様の作用効果を奏する。
本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。
本発明に係る映像再生装置は、画像補間装置を備えていることが好ましい。
なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻t1、t2、…、tn(nは2以上の偶数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k−1(kは1以上n/2以下の整数)と時刻t2kとの中間の時刻τkに対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻τkに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
また、本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する内挿ベクトルを決定する内挿ベクトル決定手段と、時刻t1における内挿画像として上記第1の原画像と同一の画像を生成すると共に、時刻t2kと時刻t2k+1とにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
また、本発明に係る画像補間装置は、第1の時刻における第1の原画像と第1の時刻より後の第2の時刻における第2の原画像との間に、時刻ti(nは3以上の奇数であり、t1、t2、…、tnはt1<t2<…<tnを満たす)における内挿画像を生成する画像補間装置であって、少なくとも上記第1の原画像と上記第2の原画像とから、時刻t2k(kは1以上(n−1)/2以下の整数)に対応する動きベクトルを決定する内挿ベクトル決定手段と、時刻tnにおける内挿画像として上記第2の原画像と同一の画像を生成すると共に、時刻t2k−1と時刻t2kとにおいて内挿する同一の内挿画像を、上記時刻t2kに対応する内挿ベクトルから生成する内挿画像生成手段とを備えていることを特徴としている。
それゆえ、本発明に係る画像補間装置によれば、画像補間装置の回路構成を簡素化し、コストを低減することが可能となる。しかも、後述するジャダー幅DJおよびジャダー間隔TJが最小となって、ジャダー感を低減することができるため、ユーザにとって快適な視聴環境を実現することが可能である。
〔実施の形態1〕
(画像補間装置1の概要)
図1は、本発明に係る画像補間装置1の構成を示すブロック図である。本発明に係る画像補間装置1は、遅延回路2と動きベクトル検出部3と内挿ベクトル決定部(内挿ベクトル決定手段)4と内挿画像生成部(内挿画像生成手段)5と内挿ベクトル保存用メモリ6とを備えている。
画像補間装置1は、入力される映像信号について、原画像から内挿画像を生成し、原画像の間に内挿することによって、周波数を変換して出力することが可能である。例えば、24Hzの映像信号が入力された場合、120Hzの映像信号に変換して出力することができる。以下に、画像補間装置1における処理について、より詳細に説明する。
画像補間装置1に入力される外部からの映像信号は、遅延回路2と動きベクトル検出部3とに入力される。遅延回路2は、複数の原画像から成る映像信号を遅延させて動きベクトル検出部3に出力する。映像信号に含まれる原画像の時間間隔をtとして、時刻0において入力される原画像をf(0)と表し、時間的にf(0)より1つ後の原画像をf(t)と表すと、動きベクトル検出部3には、原画像f(0)およびf(t)の2枚の原画像が入力される。
動きベクトル検出部3は、f(0)を基準画像として、f(0)とf(t)とから、動きベクトルVを検出する。このとき、動きベクトル検出部3は、図7に示すように、原画像を、複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部3は、ブロックマッチングや勾配法によって動きベクトルを算出するが、他の方法によって算出されてもよく、特に限定はされない。
そして、動きベクトル検出部3は、基準画像の各ブロックの動きベクトルVのデータを、内挿ベクトル決定部4に出力する。なお、上述のとおり、原画像の動きベクトルVはブロックごとに算出されるが、以下では、原画像の各ブロックの動きベクトルを総称して、動きベクトルVと呼ぶ。
内挿ベクトル決定部4は、動きベクトルVから、内挿画像の各座標について、内挿ベクトルを決定する。本実施の形態では、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、内挿ベクトルを算出する場合、内挿ベクトル決定部4は、内挿画像を内挿する時間的位置(すなわち時刻)をメモリから読み出す。なお、内挿画像を内挿する時間的位置として、内挿する内挿画像の枚数と時間間隔とを図示しないメモリに記憶する構成であってもよい。また、メモリに記憶されている内挿画像を内挿する時刻は、ユーザによる設定変更が可能な構成であってもよい。内挿ベクトル決定部4は、原画像の間に内挿する内挿画像の内挿ベクトルを決定した後、決定した内挿ベクトルのデータを内挿ベクトル保存用メモリ6に書き込む。
従来、内挿ベクトルとしては、内挿する時刻に対応する内挿画像の1ピクセル以上からなる特定領域の座標に関して、動きベクトルVを対応させることで算出される。例えば、等速直線運動をする動物体の原画像f(0)およびf(t)の間において、時刻0と時刻tとの中間の時刻に内挿画像を内挿する場合、原画像から算出された動きベクトルVが示す原画上の座標をxとするとN(x)=x+V/2の計算式で算出される内挿座標について、動きベクトルVが割付けられる。そして、内挿画像を複数枚生成する場合は、内挿する内挿画像の枚数分、個別に内挿ベクトルを算出する演算処理が必要となる。
図12および図13に内挿ベクトルの算出方法を示す。図12に示す内挿ベクトルの算出方法では、まず、図12(a)に示すように原画像間の動きベクトルを算出し、次に、図12(b)に示すように各内挿座標に対応する動きベクトルが内挿ベクトルとして割り付けられる。なお、割り付かない座標は、ゼロベクトルなどで代表する。また、図13に示す内挿ベクトルの算出方法では、内挿座標を中心に全ての内挿座標について内挿ベクトルを直接算出する。そして、本発明に係る画像補間装置1は、図12および図13に示すいずれの方法によって内挿ベクトルを生成してもよく、特に限定はされない。
これに対して、本発明に係る画像補間装置1では、内挿ベクトル決定部4において、内挿画像を内挿する時刻ごとに、個別の内挿ベクトルを算出する演算処理は行われない。本発明に係る画像補間装置1において内挿ベクトルを算出する方法についての詳細は後述する。また、本発明に係る画像補間装置1では、2枚の原画像の間に内挿する内挿画像の枚数が、偶数か奇数かによって、内挿ベクトルの算出方法が異なる。
内挿画像生成部5は、内挿ベクトル保存用メモリ6から、内挿ベクトルのデータを読み出す。また、内挿画像生成部5には、原画像f(0)およびf(t)の映像信号が入力されている。そして、内挿画像生成部5は、読み出した内挿ベクトルと原画像の映像信号に基づいて、内挿画像を表す映像信号を生成する。つまり、内挿画像生成部5は、内挿する内挿画像における各画素の映像信号として、内挿画像の各座標に対応する内挿ベクトルを用いて、原画像において対応する画素の映像信号を読み出して出力する。
(内挿画像の枚数が偶数の場合)
以下では、本発明に係る画像補間装置1において、2枚の原画像の間に内挿する内挿画像の枚数が、偶数の場合の処理について説明する。なお、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部4における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部3において原画像f(0)およびf(t)の動きベクトルVが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部4における処理の違いについて説明する。
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、偶数枚の内挿画像を内挿する場合には、内挿する時刻を表す偶数個のデータが格納されている。そして、内挿ベクトル決定部4は、内挿する時刻を表す偶数個のデータをメモリから読み出す。
次に、内挿ベクトル決定部4は、内挿する時刻がti(i=1〜n,nは2以上の偶数)の場合、時刻t2k−1および時刻t2k(k=1〜n/2の整数)の組み合わせごとに、それらの中間の時刻(すなわち、時刻(t2k−1+t2k)/2)において内挿画像を内挿すると仮定した場合の内挿座標に対して、動きベクトルVを割付けていく。そして、内挿ベクトル決定部4は、時刻t2k−1および時刻t2kにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻(t2k−1+t2k)/2の各内挿座標に割付けられた動きベクトルVを内挿ベクトル保存用メモリ6に記憶させる。
この場合、2枚の内挿画像に対応する内挿ベクトルとして、2枚の内挿画像の中間の時刻における内挿座標に対して動きベクトルを割付ており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
(内挿画像が4枚の場合)
以下に、内挿画像の枚数が偶数の場合の具体的な例として、4枚の内挿画像を生成する場合について説明する。図2は、本実施の形態に係る画像補間装置1において、時刻0における原画像f(0)(原画像20)と時刻tにおける原画像f(t)(原画像27)との2枚の原画像の間に4枚の内挿画像を内挿する場合の様子を示す図である。図2では、時刻0.2t、0.4t、0.6t、0.8tの各時刻において内挿画像21、23、24、26が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部3において原画像f(0)およびf(t)の動きベクトルVが検出されている。図2は、動物体がX軸(横軸)方向にのみ移動する1次元の例を示している。この場合、動きベクトルVの方向は、X軸に平行であり、その大きさは、X軸方向における原画像f(0)とf(t)との距離に等しい。
内挿ベクトル決定部4は、図示しないメモリから、内挿画像を内挿する時刻(すなわち、0.2t、0.4t、0.6t、0.8t)を読み出す。そして、内挿ベクトル決定部4は、0.2tと0.4tとの中間の時刻(すなわち、時刻0.3t)および0.6tと0.8tとの中間の時刻(すなわち、時刻0.7t)における内挿座標に対して動きベクトルVを割付けることで、内挿ベクトルを算出する。つまり、内挿ベクトル決定部4は、時刻0.3tの各内挿座標に対して、動きベクトルVを割付ける処理と、時刻0.7tの各内挿座標に対して、動きベクトルVを割付ける処理を行う。なお、本発明に係る画像補間装置1では、内挿ベクトル決定部4は、一般的な方法によって各内挿座標における内挿ベクトルを算出する構成であり、特に限定はされない。
さらに、内挿ベクトル決定部4は、時刻0.3tの内挿座標に割付けられた動きベクトルVを、時刻0.2tおよび時刻0.4tにおける内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。また、内挿ベクトル決定部4は、時刻0.7tの内挿座標に割付けられた動きベクトルVを時刻0.6tおよび時刻0.8tにおける内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。
その後、内挿画像生成部5は、内挿ベクトル保存用メモリ6から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
つまり、内挿画像生成部5は、時刻0.2tおよび時刻0.4tにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ6から時刻0.3tにおける内挿ベクトルを読み出し、内挿画像21および23を生成する。また、内挿画像生成部5は、時刻0.6tおよび時刻0.8tにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ6から時刻0.7tにおける内挿ベクトルを読み出し、内挿画像24および26を生成する。
なお、図2において、内挿画像生成部5によって生成される内挿画像21、23、24、26は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
以上の説明のとおり、本発明に係る画像補間装置1では、4枚の内挿画像を生成する場合、4枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、2枚の画像の各座標に割付けられた動きベクトルVを、4枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の1/2の演算能力で処理することが可能となり、4枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。図9の例で言えば、A−1、A−2と2枚分の内挿ベクトルを算出する部分が、1枚の内挿ベクトルを算出する演算能力で実現可能となり、A−3、A−4と2枚分の内挿ベクトルを算出する部分が、1枚の内挿ベクトルを算出する演算能力で実現可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが4枚の内挿画像を生成する場合の1/2ですむことになる。したがって、画像補間装置1の回路構成を簡素化し、コストを低減することが可能となる。
(ジャダーについて)
図3は、原画像f(0)とf(t)との2枚の原画像の間に4枚の内挿画像を内挿する場合の一例を示す図である。図3に示す例においても、4枚の内挿画像を生成する場合において、2枚の画像に対応する内挿ベクトルのみが生成される。
より詳細に説明すれば、図3に示す例では、時刻0.4tにおいて内挿する内挿画像32と時刻0.6tにおいて内挿する内挿画像33とについては、それぞれ、原画像の動きベクトルVをそれぞれの時刻における内挿座標に割付けることで算出する演算処理が実行される。一方、時刻0.2tにおいて内挿する内挿画像31および時刻0.8tにおいて内挿する内挿画像34については、それぞれ、原画像f(0)(画像30)と原画像f(t)(画像35)が用いられており、内挿ベクトルを算出する演算処理は実行されない。
したがって、図2に示す場合と同様、演算回路の構成、メモリへの書き込みアクセス、およびメモリにおいて必要となる記憶容量は、内挿する全ての内挿画像について内挿ベクトルを算出する場合と比較して1/2となり、回路構成を簡素化して、コストを低減することが可能である。
なお、図3においても、内挿画像31、32、33、34は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
ここで、図3に示すDJ、すなわち、理想的な内挿画像に対してはみ出している部分の位置ずれの幅をジャダー幅DJと呼ぶ。また、図3に示すTJ、ジャダー幅の中で内挿画像の位置ずれが周期的に変化する間隔をジャダー間隔TJとする。この場合、ジャダー幅DJが短いほど、ジャダー感を低減することが可能となる。
さらに、ジャダー間隔TJについて考えた場合、ジャダー部分がフリッカーとして人間の目に捉えられる間隔がジャダー間隔TJということになり、ジャダー間隔TJが短いほど、ジャダーが残像のように人間の目に蓄積される量が少なくなる。
そのため、4枚の内挿画像を内挿する場合において、2枚の画像に対応する内挿ベクトルのみを算出する構成において、最もジャダー感を少なくするためには、ジャダー幅DJおよびジャダー間隔TJが最小となるように、算出する内挿ベクトルを決定する必要がある。
そして、原画像f(0)と原画像f(t)との間において4枚の内挿画像を生成する場合であって、時刻0.2t、0.4t、0.6t、0.8tにおいて内挿画像を内挿する場合、図2に示すように、時刻0.3tの内挿座標に対して割付けられた内挿ベクトルを時刻0.2tおよび0.4tの内挿ベクトルとし、時刻0.7tの内挿座標に対して割付けられた内挿ベクトルを時刻0.6tおよび0.8tの内挿ベクトルとした場合、ジャダー幅DJおよびジャダー間隔TJが最小となり、ジャダー感が最も低減される。
これに対して、図3のジャダー幅DJおよびジャダー間隔TJは、図2のジャダー幅DJおよびジャダー間隔TJと比較して大きい。つまり、図3に示すように内挿画像を内挿した場合、回路構成を簡素にし、コストを低減することは可能であるが、ジャダーが増大するため、ユーザにとって快適な視聴環境を提供することができない。
したがって、本発明に係る画像補間装置1では、上述したとおり、時刻t2k−1および時刻t2kにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻(t2k−1+t2k)/2における内挿座標に割付けられる内挿ベクトルを用いることによって、回路構成を簡素化して、システムコストを低減するだけでなく、ジャダーを抑制し、ユーザにとって快適な視聴環境を実現することが可能である。
(内挿画像が6枚の場合)
以下に、内挿画像の枚数が偶数の場合の具体的な例として、6枚の内挿画像を内挿する場合について説明する。図4は、本実施の形態に係る画像補間装置1において、時刻0における原画像f(0)(原画像40)と時刻tにおける原画像f(t)(原画像47)との2枚の原画像の間に6枚の内挿画像を内挿する場合の様子を示す図である。図4では、時刻t/7、2t/7、3t/7、4t/7、5t/7、6t/7の各時刻において内挿画像41、42、43、44、45、46が内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部3において原画像f(0)およびf(t)の動きベクトルVが検出されている。図2の説明と同様、動きベクトルVの方向は、X軸に平行であり、その大きさは、X軸方向における原画像f(0)とf(t)との距離に等しい。
内挿ベクトル決定部4は、図示しないメモリから、内挿画像を内挿する時刻(すなわち、時刻t/7、2t/7、3t/7、4t/7、5t/7、6t/7)を読み出す。そして、内挿ベクトル決定部4は、時刻t/7と2t/7との中間の時刻(すなわち、3t/14)における内挿座標に割付けられる内挿ベクトルと、時刻3t/7と4t/7との中間の時刻(すなわち、7t/14)における内挿座標に割付けられる内挿ベクトルと、時刻5t/7と6t/7との中間の時刻(すなわち、11t/14)における内挿座標に割付けられる内挿ベクトルとを算出する。
さらに、内挿ベクトル決定部4は、時刻3t/14における内挿座標に割付けられる内挿ベクトルを、時刻t/7および時刻2t/7における内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。また、内挿ベクトル決定部4は、時刻7t/14における内挿座標に割付けられる内挿ベクトルを時刻3t/7および時刻4t/7における内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。さらに、内挿ベクトル決定部4は、時刻11t/14における内挿座標に割付けられる内挿ベクトルを時刻5t/7および時刻6t/7における内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。
その後、内挿画像生成部5は、内挿ベクトル保存用メモリ6から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。
なお、図4において、内挿画像生成部5によって生成される内挿画像41〜46は、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
以上の説明のとおり、本発明に係る画像補間装置1では、6枚の内挿画像を生成する場合、6枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われず、3枚の画像に対応する内挿座標に割付けられた内挿ベクトルを、6枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、従来の1/2の演算能力で処理することが可能となり、6枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減することが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが6枚の内挿画像を生成する場合の1/2ですむことになる。従って回路構成を簡素化し、コストを低減することが可能である。
しかも、上述したとおり、本発明に係る画像補間装置1によれば、時刻t2k−1および時刻t2kにおける内挿画像の内挿ベクトルとして、その中間の時刻、すなわち、時刻(t2k−1+t2k)/2における内挿座標に割付けられる内挿ベクトルを用いているため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
(内挿画像の枚数が奇数の場合)
以下では、本発明に係る画像補間装置1において、2枚の原画像の間に内挿する内挿画像の枚数が、奇数の場合の処理について説明する。上述のとおり、内挿画像の枚数が偶数の場合と奇数の場合とでは、内挿ベクトル決定部4における処理のみが異なる。つまり、いずれの場合においても、動きベクトル検出部3において原画像f(0)およびf(t)の動きベクトルVが検出されており、他の各部における処理も同じである。そのため、以下では、内挿ベクトル決定部4における処理の違いについて説明する。
上述のとおり、内挿画像を内挿する時刻は、図示しないメモリに予め格納されており、奇数枚の内挿画像を内挿する場合には、内挿する時刻を表す奇数個のデータが格納されている。そして、内挿ベクトル決定部4は、内挿する時刻を表す奇数個のデータをメモリから読み出す。
次に、内挿ベクトル決定部4は、内挿する時刻がti(i=1〜n,nは3以上の奇数)の場合、時刻t2k(k=1〜(n−1)/2の整数)における内挿座標に割付けられる内挿ベクトルを算出し、時刻t2kおよび時刻t2k+1において内挿する内挿画像に対応する内挿ベクトルとして、時刻t2kにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ6に記憶させる。なお、時刻t1における内挿画像としては、内挿画像生成部5において、原画像f(0)と同じ画像が生成される。
あるいは、内挿ベクトル決定部4は、内挿する時刻がti(i=1〜n,nは3以上の奇数)の場合、時刻t2k(k=1〜(n−1)/2の整数)における内挿座標に割付けられる内挿ベクトルを算出して、時刻t2k−1および時刻t2kにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻t2kにおける内挿座標に割付けられる内挿ベクトルを内挿ベクトル保存用メモリ6に記憶させる構成であってもよい。なお、時刻tnにおける内挿画像としては、内挿画像生成部5において、原画像f(t)と同じ画像が生成される。
つまり、2枚の内挿画像に対応する内挿ベクトルとして、2枚の内挿画像のうち一方の内挿座標に割付けられる内挿ベクトルを算出しており、それぞれの内挿画像を内挿する時刻ごとに、個別に内挿ベクトルを算出する構成ではないため、内挿ベクトルを算出する演算処理が半分となる。
(内挿画像が7枚の場合)
以下に、内挿画像の枚数が奇数の場合の具体的な例として、7枚の内挿画像を生成する場合について説明する。図5は、本実施の形態に係る画像補間装置1において、時刻0における原画像f(0)(原画像51)と時刻tにおける原画像f(t)(原画像59)との2枚の原画像の間に7枚の内挿画像52〜58を内挿する場合の様子を示す図である。図5(a)は内挿画像の1枚として原画f(0)を用いる場合を示す図であり、図5(b)は内挿画像の1枚として原画f(t)を用いる場合を示す図である。
図5(a)では、時刻0.125t、0.25t、0.375t、0.5t、0.625t、0.75t、0.875tの各時刻において内挿画像52a〜58aが内挿される。内挿画像が内挿される時刻は、図示しないメモリに記憶されている。なお、動きベクトル検出部3において原画像f(0)およびf(t)の動きベクトルVが検出されている。図5は、動物体がX軸(横軸)方向にのみ移動する1次元の例を示している。この場合、動きベクトルVの方向は、X軸に平行であり、その大きさは、X軸方向における原画像f(0)とf(t)との距離に等しい。
内挿ベクトル決定部4は、図示しないメモリから、内挿画像を内挿する時刻(すなわち、時刻0.125t、0.25t、0.375t、0.5t、0.625t、0.75t、0.875t)を読み出す。そして、内挿ベクトル決定部4は、時刻0.25t、0.5t、0.75tにおける内挿座標に割付けられる内挿ベクトルを算出する。
さらに、内挿ベクトル決定部4は、時刻0.25tにおける内挿座標に割付けられる内挿ベクトルを、時刻0.25tおよび時刻0.375tにおける内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。また、内挿ベクトル決定部4は、時刻0.5tにおける内挿座標に割付けられる内挿ベクトルを時刻0.5tおよび時刻0.625tにおける内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。さらに、内挿ベクトル決定部4は、時刻0.75tにおける内挿座標に割付けられる内挿ベクトルを時刻0.75tおよび時刻0.875tにおける内挿ベクトルとして、内挿ベクトル保存用メモリ6に記憶させる。
その後、内挿画像生成部5は、内挿ベクトル保存用メモリ6から、各時刻における内挿画像に対応する内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿する内挿画像を生成する。また、時刻0.125tにおける内挿画像としては、内挿画像生成部5において、原画像f(0)と同じ画像が生成される。
つまり、内挿画像生成部5は、時刻0.25tおよび0.375tにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ6から時刻0.25tにおける内挿座標に割付けられる内挿ベクトルを読み出し、内挿画像53および54を生成する。また、0.5tおよび0.625tにおいて内挿する内挿画像を生成する場合、内挿ベクトル保存用メモリ6から時刻0.5tにおける内挿画像を生成する。さらに、0.75tおよび0.875tにおいて内挿する画像を生成する場合、内挿ベクトル保存用メモリ6から時刻0.75tにおける内挿画像を生成する。
なお、時刻0.125tにおける内挿画像として原画像f(0)を用いることを表す情報が図示しないメモリに予め記憶されており、当該情報に基づいて、内挿画像生成部5は、時刻0.125tにおける内挿画像として原画像f(t)を生成する。
また、図5(a)において、内挿画像生成部5によって生成される内挿画像52a〜58aは、網掛の部分によって示されており、太線の部分は、個別に内挿ベクトルが算出された場合の理想的な内挿画像を示している。
なお、図5(b)に示すとおり、内挿ベクトル決定部4において、時刻0.25tにおける内挿座標に割付けられる内挿ベクトルを、時刻0.125tおよび時刻0.25tにおける内挿ベクトルとして決定し、時刻0.5tにおける内挿座標に割付けられる内挿ベクトルを、時刻0.375tおよび時刻0.5tにおける内挿ベクトルとして決定し、時刻0.75tにおける内挿座標に割付けられる内挿ベクトルを、時刻0.625tおよび時刻0.75tにおける内挿ベクトルとして決定し、それぞれ、内挿ベクトル保存用メモリ6に記憶させる構成であってもよい。
内挿画像生成部5は、内挿ベクトル保存用メモリ6から内挿ベクトルを読み出して、読み出した内挿ベクトルに基づいて内挿画像を生成する。より具体的には、内挿画像生成部5は、時刻0.25tに対応する内挿ベクトルから、時刻0.125tおよび時刻0.25tにおける内挿画像を生成する。また、内挿画像生成部5は、時刻0.5tに対応する内挿ベクトルから、時刻0.375tおよび0.5tにおける内挿画像を生成する。また、内層画像生成部5は、時刻0.75tに対応する内挿ベクトルから、時刻0.625tおよび0.75tにおける内挿画像を生成する。そして、この場合、時刻0.875tにおける内挿画像として原画像f(t)を用いることを表す情報が図示しないメモリに記憶されており、当該情報に基づいて、内挿画像生成部5は、時刻0.875tにおける内挿画像として原画像f(t)を生成する。
以上の説明のとおり、本発明に係る画像補間装置1では、7枚の内挿画像を生成する場合、7枚の内挿画像について個別の内挿ベクトルを算出する演算処理が行われない。そして、7枚の内挿画像のうち、3枚の内挿画像に対応する内挿ベクトルを、6枚の内挿画像を生成するための内挿ベクトルとして用いる。よって、内挿画像を生成するために内挿ベクトルを算出する処理は、7枚の内挿画像を生成するために内挿ベクトルを個別に算出する場合に対して、従来の1/2以下の演算能力で処理することが可能となり、7枚の内挿画像を生成する場合に比べて、処理スピードを遅くしたり、並列で処理する演算回路の個数を削減したりすることが可能となる。また、算出した内挿ベクトルをメモリに格納する場合、必要なメモリ量と書き込みアクセスが7枚の内挿画像を生成する場合の1/2以下ですむことになる。したがって、画像補間装置1の回路構成を簡素化し、コストを低減することが可能となる。
しかも、本発明に係る画像補間装置1によれば、時刻t2kおよび時刻t2k+1において内挿する内挿画像に対応する内挿ベクトルとして、時刻t2kにおける内挿座標に割付けられる内挿ベクトルを用いる構成、あるいは、時刻t2k−1および時刻t2kにおいて内挿する内挿画像に対応する内挿ベクトルとして、時刻t2kにおける内挿座標に割付けられる内挿ベクトルを用いる構成であるため、ジャダーを低減し、ユーザにとって快適な視聴環境を実現することが可能となる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、画像補間装置1の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像補間装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像補間装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。