JP4349363B2 - 動きベクトル検出方法、画像処理装置、画像表示装置およびプログラム - Google Patents

Description

本発明は、映像における被写体の動きを示す動きベクトルを検出する技術に関する。

この種の技術として、時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割し、各ブロックの動きベクトルを検出する技術がある。この技術では、ブロック単位でフレームが走査される。この走査により、各ブロックが順に、動きベクトルの検出の対象となる。つまり、動きベクトルの検出は、ブロック毎に順に行われる。この技術の一つとして、動きベクトルの検出に、既に検出された動きベクトルを用いることにより、正しい動きベクトルの検出効率を向上させる技術が知られている（特許文献１）。

この技術では、既に検出された動きベクトルのうち、動きベクトルの検出の対象のブロックに空間的または時間的に隣接するブロックのものが利用される。空間的に隣接するブロックとは、対象のブロックと同一のフレーム内で当該ブロックに隣接しているブロックである。時間的に隣接するブロックとは、対象のブロックを含むフレームに隣接するフレーム内の、当該ブロックに相当する位置のブロックと当該ブロックに隣接するブロックである。以降、両者を「隣接ブロック」と呼ぶ。一般的な映像では、或るブロックと隣接ブロックとの間で正しい動きベクトルが大きく相違することは稀であるから、正しい動きベクトルの多くは、空間的および時間的に連続な動きベクトルとなる。よって、当該技術によれば、動きベクトルの検出効率を向上させることができる。
特表平１１−５１０９３７号公報

特許文献１に記載の技術では、対象のブロックの動きベクトルの検出に用いる動きベクトルと当該ブロックの動きベクトルとの連続性に応じて、当該ブロックの動きベクトルの検出精度がばらつく。この点について、テニスコート上を高速移動するボールを上空から映した映像を構成する１枚のフレームについて動きベクトルの検出を行う場合を例に挙げて説明する。

この場合、フレーム内の多くのブロック群がテニスコートの静止画像で占められ、これらのブロック群に囲まれたブロック群が、高速移動するボールの画像で占められる。ここで、フレームは左上から右下へ走査されるものとする。この場合、対象のブロックは、フレームの左上端のブロックから右へ１つずつ移り、右端のブロックに達したら下の行の左端のブロックに移り、右へ１つずつ移り、という移動を繰り返す。したがって、対象のブロックと同一のフレームに含まれる隣接ブロックのうち、検出に動きベクトルが用いられるブロックは、対象のブロックの上方に位置するブロックおよび左方に位置するブロックとなる。

さらに、対象のブロックは、ボールの画像のブロックのうち、フレーム内で最初に対象となるブロック（以降、「先頭ボールブロック」）であるものとする。ここで、ボールがフレーム内で上から下に移動してきたものとすると、先頭ボールブロックの動きベクトルの検出に動きベクトルが用いられるフレーム内の隣接ブロックに、ボールの動きに応じた動きベクトルのブロックが含まれることになる。したがって、先頭ボールブロックの動きベクトルの検出精度が高くなる。一方、ボールがフレーム内で下から上に移動してきたものとすると、先頭ボールブロックの動きベクトルの検出に動きベクトルが用いられるフレーム内の隣接ブロックに含まれるのは、テニスコートの動きに応じた動きベクトル、つまり大きさがゼロの動きベクトルのブロックのみとなる。したがって、先頭ボールブロックの動きベクトルの検出精度が著しく低くなる。
本発明は、上述した事情に鑑み、安定した精度で効率よく動きベクトルを検出することができる動きベクトル検出方法、画像処理装置、画像表示装置およびプログラムを提供することを解決課題としている。

本発明に係る動きベクトル検出方法は、時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う動きベクトル検出方法において、前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させるステップと、前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させるステップとを有する、ことを特徴とする。
従来の技術において動きベクトルの検出精度がばらつくのは、被写体が動く方向が任意であるのに対して、フレームの走査において対象のブロックが互いに隣接するブロック間で遷移する向き（以降、「隣接遷移方向」）が一様であるからである。詳しくは、以下に述べる通りである。
動きベクトルは、被写体が数フレームにわたって動くことによって生ずることが多い。ここで、動きベクトルの検出の対象となるブロックを含むフレームを「現在フレーム」とし、その直前のフレームを「前フレーム」とする。この場合、対象のブロックと空間的に隣接する現在フレームのブロック、及び時間的に隣接する前フレームのブロックにおける動きベクトルは、対象のブロックの動きベクトルと近似している可能性が高い。したがって、対象のブロックに隣接するブロック（隣接ブロック）の既に検出された動きベクトルを用いれば、限られた処理負荷の中であっても、正しい動きベクトルを精度良く検出することができる。
ここで、対象のブロックに、動く被写体が含まれているものとする。この場合、隣接ブロックのうち、対象のブロックに含まれている被写体を含む前フレームのブロック（「前寄与大ブロック」と称する）について、既に動きベクトルが検出されていれば、この動きベクトルを用いて、対象のブロックの動きベクトルを精度良く検出することができる。また、前寄与大ブロックに相当する現在フレームのブロック（「現在寄与大ブロック」と称する）について、既に動きベクトルが検出されていれば、この動きベクトルを用いて、対象のブロックの動きベクトルを精度良く検出することができる。
このように、隣接ブロックの中には、対象のブロックの動きベクトルを検出するに際して、利用価値の高い、前寄与大ブロックと現在寄与大ブロックとがあり、これらのブロックの動きベクトルを利用して動きベクトルを検出すべきである。しかし、前フレームのブロックの動きベクトルが未検出となる場合がある。前フレームの前にフレームが存在しない場合である。この場合には、前寄与大ブロックの動きベクトルを利用することはできない。一方、現在フレームのブロックの動きベクトルは、前フレームの前にフレームが存在しなくても検出される。しかし、現在寄与大ブロックの動きベクトルが前もって検出されるとは限らない。現在寄与大ブロックの動きベクトルが前もって検出されるのは、対象のブロックに含まれる被写体が動く方向と、現在寄与大ブロックと対象のブロックとの走査順序（対象のブロックとなる順序）とが合致しているときのみである。
現在寄与大ブロックは１つに限らず、むしろ複数となるのが普通である。そして、いずれか１つでも現在寄与大ブロックの動きベクトルが前もって検出されていれば、動きベクトルの検出精度は高くなる。テニスボールの例を想定すれば明らかなように、現在寄与大ブロックは密集して存在することが多く、その存在位置は、対象のブロックから或る向きに進んだ位置となる。したがって、隣接遷移方向が一様の場合には、現在寄与大ブロックの動きベクトルが１つも前もって検出されない確率が高くなる。その結果、動きベクトルの検出精度が大きくばらついてしまう。
これに対し、上記の動きベクトル検出方法によれば、対象のブロックが第２ブロックへ移ってくる向きと、第２ブロックに隣接する第４ブロックへ移ってくる向きとが異なる。したがって、第１〜第４ブロックを含む領域で隣接遷移方向が一様ではなくなる。したがって、現在寄与大ブロックの動きベクトルが１つも前もって検出されない確率が低くなる。よって、動きベクトルの検出精度のばらつきが抑えられ、動きベクトルの検出精度が安定する。この効果は、特に、対象のブロックの動きベクトルの検出に用いられる動きベクトルが現在フレーム内のブロックの動きベクトルに限られる場合に顕著となる。また、上記の動きベクトル検出方法によれば、対象のブロックの動きベクトルの検出には、当該ブロックに隣接するブロックの既に検出された動きベクトルが用いられるから、正しい動きベクトルを効率よく検出することができる。
以上より、上記の動きベクトル検出方法によれば、安定した精度で効率よく動きベクトルを検出することができる。
動きベクトルの検出に隣接ブロックの既に検出された動きベクトルを用いる場合、あるブロックの動きベクトルが低い精度で検出されると、当該動きベクトルを用いる隣接ブロックの動きベクトルの検出に悪影響が及ぶ虞がある。この悪影響の及ぶ空間的および時間的な範囲は、検出精度が低いほど大きくなる。上記の動きベクトル検出方法によれば、現在寄与大ブロックの動きベクトルが１つも前もって検出されない確率を低くすること、すなわち動きベクトルの検出精度が著しく低下する確率を低くすることができるから、低い精度での動きベクトルの検出の悪影響が及ぶ空間的および時間的な範囲を狭くすることができる。この効果は、例えば、全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数の低減に結び付く。
走査方向を一様ではなくならせる手法としては、１枚のフレームに対して走査方向を異ならせて複数回の走査を行い、ブロック毎に、検出された複数の動きベクトルを合成して動きベクトルを求めることも考えられる。しかし、この手法では、行うべき検出の回数が著しく増えてしまう。これに対し、上記の動きベクトル検出方法によれば、１枚のフレームに対する走査の回数を１回とすることができるから、検出の回数を増やさずに済む。つまり、上記の動きベクトル検出方法には、現実的な演算量で済むという利点もある。

上記の動きベクトル検出方法において、前記対象のブロックの遷移は、前記走査が一筆で進むように行われる、ようにしてもよい。全てのブロックがフレームをマトリクス状に分割して得られる場合、１枚のフレームを走査する方法としては、例えば、フレームの上半分の行については走査が左から右に進み、下半分の行については走査が右から左に進む方法が考えられる。この方法では、隣接遷移方向は、左右の２種類となる。一方、上記の態様では、走査は一筆で進むから、隣接遷移方向は、下左右、上左右、上下左、上下右または上下左右の少なくとも３種類となる。以上より明らかなように、この態様によれば、隣接遷移方向の多様化の程度を十分に大きくすることができる。また、走査経路はフレーム内で何度も折れ曲がるから、隣接遷移方向が多様化される領域をより広く確保することができる。なお、隣接遷移方向を上下左右の４種類とするには、例えば、走査を渦巻き状に進めればよい。

上記の動きベクトル検出方法において、各フレームの分割は、ブロックを一列に並べて構成されるラインが複数列にわたって隣接するように行われ、各フレームに対する走査は、前記第２ブロックおよび前記第４ブロックを通るように前記ラインを横切り、前記対象のブロックが前記第１の向きで遷移してくるブロックと前記第１の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶ直線が存在するように行われる、ようにしてもよい。この形態によれば、フレームにおける隣接遷移方向の多様化の程度の偏りを小さくすることができる。

上記の動きベクトル検出方法において、前記第１および第２ブロックは第１フレーム（前フレーム）のブロックであり、前記第３および第４ブロックは前記第１フレームに隣接して後続する第２フレーム（現在フレーム）のブロックであり、各フレームに対する走査は、前記第２ブロックおよび前記第４ブロックを通るようにフレームを貫通し、前記対象のブロックが前記第１の向きで遷移してくるブロックと前記第１の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶ直線が存在するように行われる、ようにしてもよい。この形態によれば、複数のフレームにわたる隣接遷移方向の多様化の程度の偏りを小さくすることができる。

上記の動きベクトル検出方法において、前記第１ブロックと前記第４ブロックは同一のブロックである、ようにしてもよい。この形態では、対象のブロックが第４ブロックに遷移してくる向きと第４ブロックから遷移していく向きとが異なる。つまり、第４ブロックにおいて走査経路が折れ曲がる。折れ曲がる角度として採用可能な角度は、フレームを複数のブロックに分割する態様に応じて異なる。ただし、折れ曲がるのは走査経路であるから、折れ曲がる角度として１８０度を採用した態様は本形態に含まれない。

本発明に係る画像処理装置は、隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置において、時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う検出回路と、前記検出回路により検出された動きベクトルを用いて前記補間画像を生成する生成回路とを有し、前記検出回路は、前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させる手段と、前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させる手段とを有する、ことを特徴とする。
この画像処理装置によれば、上記の動きベクトル検出方法について述べた理由と同様の理由により、安定した精度で効率よく動きベクトルを検出すること、および全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数を少なくすることができる。また、この画像処理装置には、上記の動きベクトル検出方法について述べた理由と同様の理由に基づく利点、つまり現実的な演算量で済むという利点もある。以上より、この画像処理装置によれば、現実的な演算量で、補間画像の生成の開始から間もなく高品質の補間画像を生成することができる。

本発明に係る画像表示装置は、上記の画像処理装置と、与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列された電気光学装置とを有し、前記複数の電気光学素子の発光特性または光の透過特性を、前記画像処理装置により生成された前記補間画像に応じて変化させ、前記画像とともに当該補間画像を表示する、ことを特徴とする。
電気光学素子のうち、与えられた電気エネルギにより発光特性が変化する素子としては、ＯＬＥＤ（Organic Light-Emitting Diode）素子や無機ＥＬ（Electro Luminescent）素子、フィールド・エミッション（ＦＥ）素子、表面導電型エミッション（ＳＥ：Surface-conduction Electron-emitter）素子、弾道電子放出（ＢＳ：Ballistic electron Surface emitting）素子、ＬＥＤ（Light Emitting Diode）素子など様々な発光素子を例示することができる。与えられた電気エネルギにより光の透過特性が変化する素子としては、液晶の画素や電気泳動ディスプレイの画素など様々な、電気的エネルギにより光の透過率が変化するライトバルブ画素を例示することができる。
この画像表示装置によれば、上記の画像処理装置を有するから、現実的な演算量で、補間画像の表示の開始から間もなく高品質の補間画像を表示することができる。

本発明に係るプログラムは、隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置に、時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う検出ステップと、前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する生成ステップとを実行させるためのプログラムであって、前記検出ステップは、前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させるステップと、前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させるステップとを含む、ことを特徴とする。
このプログラムによれば、上記の動きベクトル検出方法について述べた理由と同様の理由により、安定した精度で効率よく動きベクトルを検出すること、および全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数を少なくすることができる。また、このプログラムには、上記の動きベクトル検出方法について述べた理由と同様の理由に基づく利点、つまり現実的な演算量で済むという利点もある。以上より、このプログラムによれば、現実的な演算量で、補間画像の生成の開始から間もなく高品質の補間画像を生成することができる。

図面を参照しながら本発明の好適な実施の形態を説明する。説明する実施の形態は第１〜第２の２つである。各図の符号において、「Ａ」〜「Ｂ」は、それぞれ、第１〜第２の実施の形態に対応する符号であることを意味する。以降の説明では、まず、各実施の形態に共通する部分について説明し、次に、各実施の形態に固有の部分について順に説明する。

＜各実施の形態に共通する部分＞
図１は本発明の各実施の形態に係る画像表示装置１（１Ａ，１Ｂ）の構成を示す図である。画像表示装置１は、フレームレートが６０Ｈｚの低レート映像を入力し、この低レート映像をフレーム補間によってフレームレートが１２０Ｈｚの高レート映像に変換して表示する装置であり、画像処理装置１０（１０Ａ，１０Ｂ）および電気光学装置２０を備える。画像処理装置１０は、低レート映像の映像データＤ１を入力し、映像データＤ１をフレーム補間により高レート映像の映像データＤ２に変換し、これを出力する。映像データＤ１およびＤ２のフレームは同一サイズである。

電気光学装置２０は、与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列されたホールド型の表示装置であり、画像処理装置１０から出力される映像データＤ２を入力し、複数の電気光学素子の発光特性または光の透過特性を映像データＤ２に応じて変化させることにより、映像データＤ２の映像を表示する。電気光学素子は、例えばOLED素子などの発光素子である。

ホールド型の表示装置においては、画像に含まれる被写体の移動とこれに追従しようとする観察者の視点の移動とのズレに起因して、観察者によって知覚される被写体の輪郭が不明瞭となる現象（以下「動画ボケ」という）が発生する。この動画ボケを解決するための方策としては、各発光素子の階調をフレーム期間の全長にわたって維持するのではなく、ＣＲＴ（Cathode Ray Tube）に代表されるインパルス型の表示装置のように各発光素子を間欠的に発光させるという方法がある。しかしながら、各発光素子を発光させる各期間に間隔があると、画像全体の明度が周期的に変動するフリッカと呼ばれる現象が顕著となる。そこで、本発明の各実施の形態では、フレーム補間によって映像のフレームレートを上げることにより、動画ボケおよびフリッカを防止する。

画像処理装置１０は、入力バッファ１１、現在フレームバッファ１２、前フレームバッファ１３、動きベクトル演算回路１４（１４Ａ，１４Ｂ）、補間画像生成回路１５および映像合成回路１６を備える。入力バッファ１１は、映像データＤ１を入力してフレーム単位で出力する。現在フレームバッファ１２は、入力バッファ１１から出力された最新のフレーム、すなわち現在フレームの画像データを保持する。この保持の開始直前に、前フレームバッファ１３は、現在フレームバッファ１２に保持されている画像データの保持を開始する。つまり、前フレームバッファ１３には、前フレームの画像データが保持される。

動きベクトル演算回路１４は、現在フレームの画像データと前フレームの画像データとを用いた演算によって、前フレームから現在フレームにかけての被写体の動きを示す動きベクトルを検出する。補間画像生成回路１５は、補間画像データを生成して出力する。動きベクトル演算回路１４および補間画像生成回路１５は、ＤＳＰ（デジタル・シグナル・プロセッサ）により、または各実施の形態に応じたプログラムをコンピュータが実行することにより実現される。

補間画像生成回路１５により生成される補間画像データは、前フレームと現在フレームとの中間に挿入される中間フレームの画像（以降、「補間画像」）を示すデータである。この挿入は、映像における被写体の動きを補うために為されるものであり、補間画像データの生成では動き補償が必要となる。そこで、本発明の各実施の形態では、動きベクトル演算回路１４により検出された動きベクトルと現在フレームの画像データとを用いて補間画像データを生成するようにしている。映像合成回路１６は、１／６０秒毎に更新される前フレームの画像データと、１／６０秒毎に生成される補間画像データとを交互に出力する。こうして映像データＤ２が出力される。映像データＤ２では、映像データＤ１の隣接フレームの中間に補間画像データのフレームが存在する。

図２は、補間画像生成回路１５による補間画像データの生成について説明するための図である。この図の例では、フレーム補間前の映像において隣接する第Ｎ−１フレームと第Ｎフレームとの中間に、補間画像生成回路１５に生成された第Ｎ−１／２フレームが挿入されている。この図に示すように、映像における被写体の動きを補うためには、第Ｎ−１／２フレームの補間画像データは、第Ｎ−１フレームと第Ｎフレームとの間での被写体Ｇ１の動きを示す直線上に第Ｎ−１／２フレーム内の被写体Ｇ１が位置するように生成されるべきである。すなわち、上記の直線、または当該直線をフレームに投影して得られる動きベクトルを正しく検出することが重要である。

図３は、動きベクトル演算回路１４による動きベクトルの検出の概略を説明するための図である。この検出は、公知のブロックマッチング法により行われる。ブロックマッチング法では、例えば、前フレームから現在フレームにかけての被写体の動きを示す動きベクトルを検出する場合には、前フレームを同一の形状およびサイズの複数のブロックに分割し、各ブロックについて動きベクトルを検出する。各ブロックについての検出では、当該ブロックと同一の形状およびサイズの領域を順に特定する探索を現在フレームにおいて行いつつ、当該ブロックの画像と特定された領域の画像とを比較し、比較結果に基づいて当該ブロックの動きベクトルを特定する。この比較および特定の方法は任意である。例えば、対応する位置の画素値の差分の絶対値を全ての画素について合計した絶対差分和が最小となる１つの領域を特定し、この領域の中心点を終点とし、処理対象のブロック（以降、「対象ブロック」）の中心点を始点としたベクトルを動きベクトルとして特定するようにしてもよい。また例えば、対応する位置の画素の値が等しい画素の数をカウントし、カウント値が最も高い１つの領域を特定し、この領域の中心点を終点とし、対象ブロックの中心点を始点としたベクトルを動きベクトルとして特定するようにしてもよい。なお、特定した領域についての上記絶対差分和が所定の基準値未満の場合、または上記カウント値が所定の基準値以上の場合に、動きベクトルを未定とする、というようにしてもよい。

図３には、第Ｎ−１フレームから第Ｎフレームにかけての被写体Ｇ２の動きを示す動きベクトルを検出する例が示されている。この例では、領域の探索は、第Ｎフレーム内で領域を１画素または複数画素ずつ動かしていくことにより行われる。そして、最終的には、領域Ｒが特定される。図３では、こうして得られた動きベクトルＭＶ１が、仮想的なマップであるベクトルマップ上にマッピングして示されている。このベクトルマップは、第Ｎ−１フレームと第Ｎフレームとを重ねて得られるものであり、各ブロックの中心点は当該ブロックの動きベクトルの始点に一致している。この図から明らかなように、動きベクトルＭＶ１は、被写体Ｇ２の動きを示すものとなる。これは、被写体Ｇ２の一部がブロックＦＢ１に含まれているからである。

上記の探索として、一般には、広域探索と制限探索（変動量制限探索）とがある。広域探索は、探索範囲が広い探索である。探索範囲が広いため、大きく変化する動きベクトルをも検出することができるが、画像の比較回数が多いため、処理量が多くなってしまう。制限探索は、探索範囲が狭い探索である。探索範囲が狭いため、大きく変化する動きベクトルを検出することはできないが、画像の比較回数が少ないため、処理量を少なくすることができる。動きベクトル演算回路１４は、広域探索ではなく、制限探索を行う。

制限探索は、隣接するブロック間で被写体の動きが大きく相違する確率は低い、という思想に基づいた探索であり、隣接ブロックの既に検出された動きベクトルを参照して探索範囲を特定することにより、狭い探索範囲でも、高い精度での動きベクトルの検出を可能にしている。したがって、制限探索を行うのであれば、既に動きベクトルが検出された隣接ブロックが存在するようにしなければならない。これは、各フレームを順にブロック単位で走査することにより達成される。

図４は、一般的な走査の方向を説明するための図である。この図に示すように、一般的な走査は、ブロックの行方向、すなわち左右方向を主走査方向とし、ブロックの列方向、すなわち上下方向を副走査方向とし、左上から右下へ進む。左右方向での処理は列番号に従って昇順に進み、上下方向での処理は行番号に従って昇順に進む。具体的には、対象ブロックは、第１行第１列のブロックから第１行第２列のブロックに遷移し、次に第１行第３列のブロックに遷移し、．．．、次に第１行第７列のブロックに遷移し、次に第２行第１列のブロックに遷移し、次に第２行第２列のブロックに遷移し、．．．、最後に第６行第７列のブロックに遷移する。

図５は、制限探索の一例を示す図である。この図の例は、上記の一般的な走査の下で、第Ｎ−１フレームから第ＮフレームにかけてのブロックＦＢ３の動きベクトルを検出するときのものである。このときには、第Ｎフレーム内の４つの隣接ブロックの動きベクトル（動きベクトルＭＶ２を含む）は既に検出されている。したがって、これらを参照して、探索範囲を定めるための代表ベクトルＭＶ２’を決定することができる。４つの動きベクトルから代表ベクトルを定める方法は任意である。また、動きベクトルを参照すべき同一フレーム内の隣接ブロックの数は４つに限らない。

一方、第Ｎ−１フレーム内の６つの隣接ブロックの動きベクトル（動きベクトルＭＶ３を含む）も既に検出されているから、これらを参照して代表ベクトルＭＶ３’を決定することができる。６つの動きベクトルから代表ベクトルを定める方法は任意である。また、動きベクトルを参照すべき隣接フレーム内の隣接ブロックの数は６つに限らない。

次に、ブロックＦＢ３の中心点ＦＰ３に相当する第Ｎ−１フレーム内の点ＦＰ４が始点となるように代表ベクトルＭＶ２’および代表ベクトルＭＶ３’を配置したときの終点の位置を求め、各位置を中心とする探索範囲ＳＡ２を特定する。探索範囲ＳＡ２は、１ブロックよりも縦横ともに１〜３画素分だけ広い。なお、図５は一例であり、代表ベクトルの数は２つに限らないし、探索範囲の広さは上記の広さに限らない。

図６は、一般的な走査の問題点を説明するための図である。この図に示す現在フレームは、映像において２番目に現れるフレームである。したがって、既に動きベクトルが検出されているブロックは、現在フレーム内のブロックに限られる。また、この現在フレームは６行７列のブロックに分割されており、第３行第４列のブロックが対象ブロックＦＢ２となっている。この現在フレームでは、対象物Ｇ３が、第３〜５行第４列の３個のブロックにわたって存在する。対象物Ｇ３は、前フレームにおいては、第３〜５行第５〜６列の６個のブロックにわたって存在していたものである。

前述のように、一般的な走査では、ブロックの行方向が主走査方向となり、列方向が副走査方向となり、左上から右下へ進む。したがって、同一フレーム内で互いに隣接するブロック間での対象ブロックの遷移の向きである隣接遷移方向は、フレームにおいて、左から右への一方向のみとなる。つまり、フレームにおける隣接遷移方向は一様となる。このような走査では、現在フレーム内の隣接ブロックのうち、既に動きベクトルが検出されているのは、図中上方の３ブロックおよび図中左方の１ブロックに限られる。したがって、対象ブロックＦＢ２の動きベクトルの検出では、これらのブロックが参照ブロックＲＢ１となり、その動きベクトルが参照される。参照ブロックＲＢ１には、動きのある被写体が存在しないから、動きベクトルの大きさは共にゼロとなる。したがって、参照ブロックＲＢ１の動きベクトルに基づいて特定される、前フレーム内の探索範囲ＳＡ３は、正しい動きベクトルの検出が不可能なものとなる。

図７は、隣接遷移方向が一様の場合の問題点を説明するための図である。この図の例が図６の例と異なる点は、走査が、上下方向を主走査方向とし、左右方向を副走査方向として、右上から左下へ進む点のみである。図７の例では、現在フレーム内の隣接ブロックのうち、既に動きベクトルが検出されているのは、図中右方の３ブロックおよび図中上方の１ブロックに限られる。したがって、対象ブロックＦＢ２の動きベクトルの検出では、これらのブロックが参照ブロックＲＢ２となり、その動きベクトルが参照される。参照ブロックＲＢ２には、動きのある被写体Ｇ３が存在するから、その動きベクトルは被写体Ｇ３の動きに応じたものとなる。したがって、参照ブロックＲＢ２の動きベクトルに基づいて特定される、前フレーム内の探索範囲ＳＡ４は、正しい動きベクトルの検出が可能なものとなる。

しかし、図７の例で、正しい動きベクトルを検出することができるのは、偶然に過ぎない。例えば、対象物Ｇ３が逆向きに動いていたならば、動きベクトルの検出精度は著しく低下してしまう。このような検出精度の著しいばらつきの原因は、隣接遷移方向が一様であることにある。対象ブロックと同一のフレーム内の隣接ブロックのうち、対象ブロックに含まれる被写体が含まれていた前フレームのブロックに相当する現在寄与大ブロックは、密集しがちであるから、隣接遷移方向が一様であると、現在寄与大ブロックの動きベクトルが１つも前もっては検出されない確率が高くなり、検出精度が著しく低下する確率が高くなるのである。これは、特に、前フレームのブロックの既に検出された動きベクトルを用いることができない場合、具体的には２番目のフレームが現在フレームの場合に顕著となる。

制限探索の下では、対象ブロックの動きベクトルの検出精度がばらつくと、その悪影響は、現在フレームと前フレームとの間の補間画像の品質だけでなく、後に続く多くの補間画像の品質にも及び、動画ボケが解消されないばかりか、新たな問題が発生する虞すらある。そこで、本発明の各実施の形態では、制限探索を行う動きベクトル演算回路１４が、一様ではない隣接遷移方向の走査を行うようにし、検出精度のばらつきを抑えるようにしている。

＜第１の実施の形態＞
図８は、本発明の第１の実施の形態に係る動きベクトル演算回路１４Ａによる走査経路を示す図である。この図から明らかなように、本実施の形態では、フレームは６行７列のブロックに分割される。この図に示す走査経路は、フレーム内の全てのブロックを一筆で辿るように定められており、対象ブロックの遷移先のブロックは遷移元のブロックに必ず隣接している、また、この走査経路において、最初のブロック、第２行第７列のブロック、第３行第７列のブロック、第４行第１列のブロック、第５行第１列のブロックおよび最後のブロックを除く３６個のブロックにおいて、対象ブロックが遷移してくる向きと遷移して行く向きとが異なっている。具体的には、これらのブロック上で走査経路が直角に折れ曲がっている。

図９は、本発明の第１の実施の形態に係る動きベクトル検出処理のフローチャートである。動きベクトル検出処理は、１フレーム分の動きベクトルを検出する処理である。動きベクトル演算回路１４Ａが動きベクトル検出処理を行うのは、前フレームバッファ１３に前フレームの画像データが保持されてから、すなわち２番目のフレームが現在フレームとなってからである。

この図に示すように、動きベクトル演算回路１４Ａは、まず、前フレームを複数のブロックに分割する（ステップ２０１）。実際には、１フレームに含まれるブロックの行数（具体的には６）および列数（具体的には７）を設定する。なお、通常、行数および列数は不変であるから、その設定をフレーム毎に行う必要はなく、最初のフレームについてだけ行うようにしてもよい。次に、動きベクトル演算回路１４Ａは、最初のブロックを対象ブロックとする（ステップ２０２）。これは、例えば、所定の記憶領域に、行番号として１を、列番号として１を書き込むことにより行われる。

次に、動きベクトル演算回路１４Ａは、制限探索により、対象ブロックの動きベクトルを検出する（ステップ２０３）。次に、対象ブロックが最終ブロックか否かを判定する（ステップ２０４）。この判定は、例えば、上記の所定の記憶領域に記憶されている行番号と６を、列番号と７を比較することで行われ、その結果は、両比較結果が一致を示す場合に肯定的になる。この判定の結果が否定的であれば、動きベクトル演算回路１４Ａは、図８の走査方向における次のブロックを対象ブロックとする（ステップ２０５）。つまり、対象ブロックを次のブロックに遷移させる。具体的には、上記の所定の記憶領域の行番号または列番号を更新する。そして、処理はステップ２０３に戻り、以降、ステップ２０３〜２０５の処理が繰り返し行われる。この繰り返しにおいて、上記の所定の記憶領域の行番号および列番号が繰り返し更新される。これらの更新は、動きベクトル演算回路１４Ａによる走査経路が図８に示すものとなるように行われる。ステップ２０３〜２０５の処理の繰り返しが終わり、動きベクトル検出処理が終了するのは、ステップ２０４の判定の結果が肯定的となった場合である。

図１０は、動きベクトル演算回路１４Ａによる動きベクトルの検出の様子を示す図である。この図に示す例は、図６および図７の例と同一の映像および同一のフレームに基づいている。図１０の例では、現在フレーム内の隣接ブロックのうち、既に動きベクトルが検出されているのは、図中右方の３ブロック、図中上方の１ブロックおよび図中下方の１ブロックである。したがって、対象ブロックＦＢ２の動きベクトルの検出では、これらのブロックが参照ブロックＲＢ３となり、その動きベクトルが参照される。参照ブロックＲＢ３には、動きのある被写体Ｇ３が存在するから、その動きベクトルは被写体Ｇ３の動きに応じたものとなる。したがって、参照ブロックＲＢ３の動きベクトルに基づいて特定される、前フレーム内の探索範囲ＳＡ５は、正しい動きベクトルの検出が可能なものとなる。

以上説明したように、動きベクトル演算回路１４Ａによる走査では、第１ブロック（例えば、第３行第６列のブロック）から第２ブロック（例えば、第３行第５列のブロック）への遷移方向と、第３ブロック（例えば、第４行第４列のブロック）から、第２ブロックに隣接する第４ブロック（例えば、第３行第４列のブロック）への遷移方向とが異なる。したがって、第１〜第４ブロックを含む領域で隣接遷移方向が一様ではなくなる。このため、現在寄与大ブロック（例えば図１０の第３行第５列のブロック）が既に検出されている確率が高くなる。したがって、動きベクトルの検出精度のばらつきが抑えられ、動きベクトルの検出精度が安定する。

また、動きベクトル演算回路１４Ａによれば、現在寄与大ブロックが既に検出されている確率が高くなるから、２番目のフレームが現在フレームの場合、すなわち対象ブロックの動きベクトルの検出に用いられる動きベクトルが現在フレーム内のブロックの動きベクトルに限られる場合であっても、動きベクトルの検出精度が著しく低下する確率を低くすることができる。したがって、全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数が少なくなる。

また、動きベクトル演算回路１４Ａによれば、フレームの走査はフレーム内の全てのブロックを一筆で辿って進むから、走査経路はフレーム内で何度も折れ曲がる。具体的には、３６個のブロックの各々において直角に折れ曲がっている。このため、隣接遷移方向の多様化の程度、および隣接遷移方向が一様ではない領域を十分に大きく確保することができる。具体的には、隣接遷移方向は上下左右の４方向となり、隣接遷移方向が一様ではない領域はフレーム全体にわたる。また、動きベクトル演算回路１４Ａによれば、制限探索が行われ、１枚のフレームに対する走査の回数は１回となる。よって、現実的な演算量で効率よく動きベクトルを検出することができる。

ここで、本実施の形態を変形して得られる、フレームの上半分の行については走査が左から右に進み、下半分の行については走査が右から左に行われる装置を想定する。この装置では、隣接遷移方向は、上半分と下半分との境界付近で多様化するものの、その他の領域では多様化しない。つまり、多様化の程度が大きく偏ってしまう。これに対して、動きベクトル演算回路１４Ａによる走査では、行または列を横切る或る直線において、対象ブロックが特定の向きで遷移してくるブロックと特定の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶことになる。例えば、第３列のブロックに着目すると、隣接遷移方向は、第１行では右、第２行では下、第３行では左、第４行では下、第５行では右、第６行では下、となっている。以上より明らかなように、動きベクトル演算回路１４Ａによれば、多様化の程度の空間的な偏りを小さくすることができる。これは、全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数をより少なくすることに寄与する。

図１１および図１２は、いずれも本発明の第１の実施の形態の変形例における走査経路を示す図である。これらの図に示すように、第１の実施の形態を変形し、走査が渦巻き状に進むようにしてもよいし、走査がコ字状に進むようにしてもよい。また例えば、上述した走査経路を逆向きに辿って走査が進むようにしてもよいし、走査が右方向へ進む行と左方向へ進む行とが交互に並ぶような走査経路としてもよいし、走査が下方向へ進む列と上方向へ進む列とが交互に並ぶような走査経路としてもよい。

以上より、画像処理装置１０Ａによれば、動きベクトル演算回路１４Ａと、動きベクトル演算回路１４により検出された動きベクトルを用いて補間画像データを生成する補間画像生成回路１５とを備えているから、現実的な演算量で、動きベクトル演算回路１４Ａを持たない画像処理装置よりも高い品質の補間画像データを生成することができる。また、画像処理装置１０Ａによれば、フレームレートが６０Ｈｚの映像データＤ１を入力し、この映像データＤ１から高い品質の補間画像データを生成してフレーム補間を行い、フレームレートが１２０Ｈｚの映像データＤ２を生成することができる。つまり、動きベクトル演算回路１４を持たない画像処理装置により映像データＤ１から生成される１２０Ｈｚの映像データよりも高い品質の映像データＤ２を生成することができる。

また、画像表示装置１Ａは、画像処理装置１０Ａと、画像処理装置１０Ａにより生成された補間画像データを入力し、このデータで表される補間画像を表示する電気光学装置２０とを備えているから、現実的な演算量で、画像処理装置１０Ａを持たない画像表示装置よりも高い品質の補間画像を表示することができる。また、画像表示装置１Ａでは、映像データＤ１を入力して表示される映像は映像データＤ２を用いたものとなる。映像データＤ２の品質は上述の通りであるから、画像表示装置１Ａによれば、画像処理装置１０Ａを持たない画像表示装置が映像データＤ１を入力して表示する映像よりも高い品質の映像を表示することができる。よって、動画ボケおよびフリッカを防止することができる。

＜第２の実施の形態＞
図１３は、本発明の第２の実施の形態に係る動きベクトル演算回路１４Ｂによる走査経路を示す図である。この図から明らかなように、ベクトル演算回路１４Ｂによる走査経路は、偶数番目に現在フレームとなる偶数フレームと、奇数番目に現在フレームとなる奇数フレームとで異なる。偶数フレームでの走査経路は、第１の実施の形態に係るベクトル演算回路１４Ａによる走査経路と同一であるが、奇数フレームでの走査経路は、偶数フレームでの走査経路と逆向きになっている。以降、偶数フレームでの走査経路の向きを「順方向」、奇数フレームでの走査経路の向きを「逆方向」と呼ぶ。

図１４は、本発明の第２の実施の形態に係る動きベクトル検出処理のフローチャートである。この図に示すように、動きベクトル演算回路１４Ｂは、まず、現在フレームが偶数フレームであるか否かを判定し（ステップ３０１）、偶数フレームであれば順方向の走査経路を、偶数フレームでなければ逆方向の走査経路を現在フレームの走査経路として採用する（ステップ３０２または３０３）。以降の処理は、図９のステップ２０１〜２０５の処理と同様である（ステップ３０４〜３０８）。ただし、ステップ３０５、３０７および３０８の各処理の内容は、採用された走査経路に応じたものとなっている。

以上説明したように、動きベクトル演算回路１４Ｂ、画像処理装置１０Ｂまたは画像表示装置１Ｂによれば、第１の実施の形態における動きベクトル演算回路１４Ａ、画像処理装置１０Ａまたは画像表示装置１Ａにより得られる効果と同様の効果が得られる。また、動きベクトル演算回路１４Ｂによれば、現在フレームにおいて或るブロック（以降、「ブロックＡ」）に対象ブロックが遷移してくる向きと、前フレームにおいてブロックＡに相当するブロック（以降、「ブロックＢ」）に対象ブロックが遷移してくる向きとが逆向きとなるから、複数のフレームにわたって比較した場合、隣接遷移方向の多様化の程度は第１の実施の形態における多様化の程度よりも大きくなる。また、動きベクトル演算回路１４Ｂによる処理では、複数のフレームを貫通する或る直線において、対象ブロックが特定の向きで遷移してくるブロックと特定の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶことになる。したがって、動きベクトル演算回路１４Ｂによれば、多様化の程度の時間的な偏りを小さくすることができる。これは、全てのブロックについて正しい動きベクトルが検出されるフレームが現れるまでに消費されるフレームの数をより少なくすることに寄与する。

本実施の形態に対しても、第１の実施の形態に対する変形と同様の変形が可能である。また、本実施の形態では、走査経路が偶数フレームと奇数フレームとで逆向きになっているが、これに限るものではない。例えば、偶数フレームでの走査における隣接遷移方向を下向きのみとし、奇数フレームでの走査にける隣接遷移方向を右向きのみとしてもよい。また、本実施の形態を変形し、対象ブロックが遷移してくる向きが、ブロックＡとブロックＢとの間で一致し、ブロックＡと前フレームにおいてブロックＢに隣接するブロックとの間で異なるようにしてもよい。

また、上述した各実施の形態では、フレームおよびブロックの形状を長方形とし、フレームをマトリクス状に分割するようにしたが、これらは例示に過ぎない。また、上述した各実施の形態を変形し、補間画像データの生成に、前フレームのみ、または前フレームおよび現在フレームを用いるようにしてもよい。また、フレームレートを３倍以上に上げるようにしてもよい。また、フレームレートを変えずに映像の長さを延ばすようにしてもよい。

＜応用例＞
次に、画像表示装置１を適用した電子機器について説明する。
図１５は、上述した画像表示装置１を表示装置として採用したモバイル型のパーソナルコンピュータの構成を示す斜視図である。パーソナルコンピュータ２０００は、画像表示装置１と本体部２０１０とを備える。本体部２０１０には、電源スイッチ２００１およびキーボード２００２が設けられている。この画像表示装置１の表示パネル３０は電気光学素子にOLED素子を利用しているので、視野角が広く見易い画面を表示できる。

図１６に、画像表示装置１を適用した携帯電話機の構成を示す。携帯電話機３０００は、複数の操作ボタン３００１およびスクロールボタン３００２、ならびに表示装置としての画像表示装置１を備える。スクロールボタン３００２を操作することによって、画像表示装置１の表示パネル３０に表示される画面がスクロールされる。

図１７に、画像表示装置１を適用した携帯情報端末（ＰＤＡ：Personal Digital Assistants）の構成を示す。情報携帯端末４０００は、複数の操作ボタン４００１および電源スイッチ４００２、ならびに表示装置としての画像表示装置１を備える。電源スイッチ４００２を操作すると、住所録やスケジュール帳といった各種の情報が画像表示装置１の表示パネル３０に表示される。

なお、本発明に係る画像表示装置１が適用される電子機器としては、図１５から図１７に示したもののほか、テレビやビデオカメラ等の映像を表示可能な機器が挙げられる。また、本発明に係る画像処理装置１０が適用される電子機器としては、図１５から図１７に示したもののほか、テレビやビデオカメラ、ビデオプレーヤ等の映像データを出力可能な機器が挙げられる。

本発明の各実施の形態に係る画像表示装置１の構成を示す図である。 画像表示装置１を構成する補間画像生成回路１５による補間画像データの生成について説明するための図である。 画像表示装置１を構成する動きベクトル演算回路１４による動きベクトルの検出の概略を説明するための図である。 一般的な走査の方向を説明するための図である。 制限探索の一例を示す図である。 一般的な走査の問題点を説明するための図である。 隣接遷移方向が一様の場合の問題点を説明するための図である。 本発明の第１の実施の形態に係る動きベクトル演算回路１４Ａによる走査の方向を示す図である。 本発明の第１の実施の形態に係る動きベクトル検出処理のフローチャートである。 動きベクトル演算回路１４Ａによる動きベクトルの検出の様子を示す図である。 本発明の第１の実施の形態の変形例における走査経路を示す図である。 本発明の第１の実施の形態の別の変形例における走査経路を示す図である。 本発明の第２の実施の形態に係る動きベクトル演算回路１４Ｂによる走査の方向を示す図である。 本発明の第２の実施の形態に係る動きベクトル検出処理のフローチャートである。 画像表示装置１を表示装置として採用したモバイル型のパーソナルコンピュータの構成を示す図である。 画像表示装置１を表示装置として採用した携帯電話機の構成を示す図である。 画像表示装置１を表示装置として採用した携帯情報端末の構成を示す図である。

符号の説明

１（１Ａ，１Ｂ）……画像表示装置、１０（１０Ａ，１０Ｂ）……画像処理装置、１４（１４Ａ，１４Ｂ）……動きベクトル演算回路、１５……補間画像生成回路、２０……電気光学装置。

Claims (8)

1. 時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う動きベクトル検出方法において、
   前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させるステップと、
   前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させるステップとを有する、
   ことを特徴とする動きベクトル検出方法。
2. 前記対象のブロックの遷移は、前記走査が一筆で進むように行われる、
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
3. 各フレームの分割は、ブロックを一列に並べて構成されるラインが複数列にわたって隣接するように行われ、
   各フレームに対する走査は、前記第２ブロックおよび前記第４ブロックを通るように前記ラインを横切り、前記対象のブロックが前記第１の向きで遷移してくるブロックと前記第１の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶ直線が存在するように行われる、
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
4. 前記第１および第２ブロックは第１フレームのブロックであり、
   前記第３および第４ブロックは前記第１フレームに隣接して後続する第２フレームのブロックであり、
   各フレームに対する走査は、前記第２ブロックおよび前記第４ブロックを通るようにフレームを貫通し、前記対象のブロックが前記第１の向きで遷移してくるブロックと前記第１の向きと異なる向きで遷移してくるブロックとが隣接して交互に並ぶ直線が存在するように行われる、
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
5. 前記第１ブロックと前記第４ブロックは同一のブロックである、
   ことを特徴とする請求項１に記載の動きベクトル検出方法。
6. 隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置において、
   時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う検出回路と、
   前記検出回路により検出された動きベクトルを用いて前記補間画像を生成する生成回路とを有し、
   前記検出回路は、
   前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させる手段と、
   前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させる手段とを有する、
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置と、
   与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列された電気光学装置とを有し、
   前記複数の電気光学素子の発光特性または光の透過特性を、前記画像処理装置により生成された前記補間画像に応じて変化させ、前記画像とともに当該補間画像を表示する、
   ことを特徴とする画像表示装置。
8. 隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置に、
   時間軸上に並んで映像を構成する複数のフレームの各々を複数のブロックに分割して順に走査しつつ、対象のブロックの動きベクトルを当該ブロックに隣接する他のブロックの既に検出された動きベクトルを用いて検出する方法であって、前記複数のフレームの各々では前記対象のブロックを或るブロックから別のブロックへ順に遷移させることにより当該フレームに対する走査を行う検出ステップと、
   前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する生成ステップとを実行させるためのプログラムであって、
   前記検出ステップは、
   前記対象のブロックを、第１ブロックから、当該ブロックに第１の向きで後続する第２ブロックへ遷移させるステップと、
   前記対象のブロックを、第３ブロックから、当該ブロックに前記第１の向きと異なる第２の向きで後続し、前記第２ブロックに隣接する第４ブロックへ遷移させるステップとを含む、
   ことを特徴とするプログラム。

Images