JP4189565B2 - 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 - Google Patents
画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP4189565B2 JP4189565B2 JP2001096314A JP2001096314A JP4189565B2 JP 4189565 B2 JP4189565 B2 JP 4189565B2 JP 2001096314 A JP2001096314 A JP 2001096314A JP 2001096314 A JP2001096314 A JP 2001096314A JP 4189565 B2 JP4189565 B2 JP 4189565B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- frame
- scene
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 41
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 238000003702 image correction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- MJBPUQUGJNAPAZ-AWEZNQCLSA-N butin Chemical compound C1([C@@H]2CC(=O)C3=CC=C(C=C3O2)O)=CC=C(O)C(O)=C1 MJBPUQUGJNAPAZ-AWEZNQCLSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
- Picture Signal Circuits (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像が示すシーンの特性を判定する技術に関する。
【０００２】
【従来の技術】
従来の動画の補正においては、まず、予備的な処理として動画を構成するフレーム画像（以下、単に「フレーム」という。）ごとにその輝度などの変化を検出して動画におけるシーンチェンジ（シーン変化）が検出される。そして、シーンチェンジから次のシーンチェンジまでのフレーム群を実質的に同一シーンを示すフレーム群とみなし、フレーム群に共通するシーンの特性としての共通シーン特性が決定される。具体的には、シーンチェンジ直後のフレームが示すシーンの特性が判定され、判定結果が共通シーン特性とされる。
【０００３】
その後、共通シーン特性に応じた補正パラメータが求められ、補正パラメータに基づいてフレーム群に同一の画像補正が行われる。これにより、動画補正の効率化および適正化が図られる。
【０００４】
【発明が解決しようとする課題】
ところで、フレームが示すシーンの特性の判定（以下、「シーン判定」という。）において、判定結果の信頼性が低いために判定不能とすることが好ましい場合がある。この場合、共通シーン特性および補正パラメータを求めることが不可能となり、例えば、先行するフレーム群の補正に用いられた補正パラメータを用いて判定不能となったフレーム群に対して補正を行うなどの対策が必要となる。
【０００５】
なお、フレームに対するシーン判定は、静止画の補正の際に行われるシーン判定とほぼ同様であり、動画のみならず静止画においても判定不能の場合の対策は必要とされる。
【０００６】
本発明は、上記課題に鑑みなされたものであり、画像のシーンの特性の判定精度を向上することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、画像に対する判定を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程とを実行させる。
【０００８】
請求項２に記載の発明は、請求項１に記載のプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記複数の判定結果のいずれかが判定不能を示す場合に、判定不能の判定結果に対応して再判定を行う工程をさらに実行させる。
【０００９】
請求項３に記載の発明は、請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の一のフレーム画像に対して判定が行われる。
【００１０】
請求項４に記載の発明は、請求項２に記載のプログラムであって、前記複数の判定結果を取得する工程において、フレーム画像中の所定数の画素の値に基づいて判定が行われ、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像中の前記所定数よりも多い数の画素の値に基づいて判定が行われる。
【００１１】
請求項５に記載の発明は、請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の複数のフレーム画像に基づいて再判定が行われる。
【００１４】
請求項６に記載の発明は、コンピュータ読み取り可能な記録媒体であって、請求項１ないし５のいずれかに記載のプログラムを記録している。
【００１５】
請求項７に記載の発明は、画像処理方法であって、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程とを有する。
【００１７】
請求項８に記載の発明は、画像処理装置であって、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する手段と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する手段とを備える。
【００１８】
【発明の実施の形態】
＜１． 第１実施形態＞
＜１．１ 画像処理装置の要部構成＞
図１は、本発明の第１実施形態に係る画像処理装置１の要部構成を示す斜視図である。画像処理装置１は、パーソナルコンピュータとして構成されており、箱型の形状を有する処理部２、操作部３およびモニタ４を備える。
【００１９】
処理部２は、画像処理を行う部位であり、前面に光ディスクなどの記録媒体９（図２参照）を挿入する挿入部２１を有する。操作部３は、マウス３１とキーボード３２とから構成され、ユーザからの画像処理装置１に対する入力操作を受付ける。モニタ４は、処理部２からの指示に基づいて表示を行う。
【００２０】
図２は、画像処理装置１の構成をブロックにて示す図である。
【００２１】
画像処理装置１の処理部２は、マウス３１、キーボード３２およびモニタ４が接続される入出力Ｉ／Ｆ２２、並びに、入出力Ｉ／Ｆ２２に電気的に接続された制御部２３を備える。さらに、処理部２は、制御部２３に電気的に接続された記憶部２４、入出力Ｉ／Ｆ２５および通信Ｉ／Ｆ２６を備える。
【００２２】
入出力Ｉ／Ｆ２２は、マウス３１、キーボード３２およびモニタ４と制御部２３との間でデータの送受をコントロールするためのインターフェイスである。
【００２３】
記憶部２４は、ハードディスクとして構成されており、オペレーションシステム（ＯＳ）２４ａ、および、画像処理を行うための演算処理プログラム２４ｂを記憶する。
【００２４】
入出力Ｉ／Ｆ２５は、挿入部２１を介して、記録媒体９に対するデータの入出力を行うためのインターフェイスである。通信Ｉ／Ｆ２６は、通信線１１（図１参照）を介して画像処理装置１の外部のネットワークと通信を行うためのインターフェイスである。
【００２５】
制御部２３は、ＣＰＵ２３１およびメモリ２３２を有しており、上記の各部を有機的に制御して画像処理装置１の動作を統括制御する部位である。メモリ２３２には、記録媒体９に記録されているプログラムデータを入出力Ｉ／Ｆ２５を介して格納することも可能とされている。すなわち、画像処理用のプログラム２４ｂは、記録媒体９からメモリ２３２に直接読み込むことも、記録媒体９から一旦記憶部２４に保存した後、メモリ２３２に読み込むことも可能とされている。そして、ＣＰＵ２３１がプログラムを実行することにより、コンピュータが画像処理装置としての動作を実行する。
【００２６】
＜１．２ 画像処理装置の動作＞
図３は、ＣＰＵ２３１がプログラムを実行することにより実現される機能をブロックにて示す図であり、図４は画像処理装置１の基本的な動作を示すフローチャートである。図３において、予備シーン判定部４０１、本シーン判定部４０２および補正部４０３がＣＰＵ２３１などにより実現される機能を示す。
【００２７】
図４に示すステップＳ１では、予備シーン判定部４０１により動画データ５１に基づいて動画の予備シーン判定が行われ、シーンチェンジが検出される。ステップＳ２では、本シーン判定部４０２により動画の本シーン判定が行われ、シーンチェンジからシーンチェンジまでの各フレーム群に対する共通シーン特性が求められる。ステップＳ３では、補正部４０３により共通シーン特性に基づいて動画補正が行われ、補正済動画データ５２が生成される。
【００２８】
図５は、予備シーン判定部４０１による動画の予備シーン判定の動作を示すフローチャートであり、図６は、予備シーン判定を説明するための図である。図６に例示する動画Ｖｄ１は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分が合成されたカラー画像である１２のフレームＦ1〜Ｆ12で構成されるものとする。以下、図５および図６を参照しながら動画Ｖｄ１に対する予備シーン判定について説明する。
【００２９】
ステップＳ１１では、カウンタｉに１が代入され、ステップＳ１２では、フレームＦiにおける緑色の画素値の平均値Ｇoldと、フレームＦi+1における緑色の画素値の平均値Ｇnewとが算出される。ここでは、図７に示す画素配列Ｍｔにおいて、一定画素、例えば５画素ごと（平行斜線を付す画素７１）の緑色の画素値がサンプリングされ、平均値が求められる。
【００３０】
ステップＳ１３では、平均値Ｇoldと平均値Ｇnewとの差Ｄが算出され、ステップＳ１４では、差Ｄがしきい値Ｔｈ以上となっているか否かが確認される。差Ｄがしきい値Ｔｈ以上となっている場合には、ステップＳ１５に進み、しきい値Ｔｈ未満の場合には、ステップＳ１６に進む。
【００３１】
ステップＳ１５に移行した場合、フレームＦiとフレームＦi+1との間にシーンチェンジが存在すると判定され、フレーム群（フレーム区間）の境界として、これらのフレーム番号が記録される。図６では、動画Ｖｄ１のフレームＦ8とフレームＦ9との間にシーンチェンジＳＣが存在すると判定され、フレームＦ1〜Ｆ8がフレーム群ＦＧ１とされ、フレームＦ9〜Ｆ12がフレーム群ＦＧ２とされた様子を示している。
【００３２】
ここで、画像情報であるＲＧＢの色成分のうち緑の色成分の画素値を抽出してシーンチェンジが判定されるのは、緑色の画素値は画像全体の輝度に近い特性を有し、従来の全色成分を考慮する方法と比べても遜色のない精度でシーンチェンジの判定が達成できるためである。
【００３３】
また、デジタルビデオカメラやデジタルスチルカメラで使用されるＣＣＤは、図８に示すようなＲＧＢベイヤー配列を有するものが多く、色Ｇに対する素子(平行斜線部)の個数が他の色Ｒ，Ｂのそれぞれに対する素子の２倍とされる。そして、各画素のＲ，ＧおよびＢの値は周囲の素子の出力値を補間することにより求められる。したがって、緑色の画素値に基づいて判定を行うことにより、シーンチェンジを精度良く判定することが可能となる。
【００３４】
ステップＳ１６では、カウンタｉにｉ＋１が代入され、ステップＳ１７では、カウンタｉが動画Ｖｄ１を構成する全フレーム数ｎ以上であるか、すなわち、処理対象の動画における全フレームに対してシーンチェンジの判定が完了したか否かを確認する。図６に示す動画Ｖｄ１の場合、ｎは１２となる。ここで、カウンタｉがｎ以上である場合には、ステップＳ２に進み、ｎ未満である場合には、ステップＳ１２に戻る。
【００３５】
以上の動作により、図６中にてに平行斜線で示す全フレームＦ1〜Ｆ12についてシーンチェンジが調べられ、画像の相関関係が高い、すなわち、それぞれが実質的に同一のシーン特性を有するとみなされる複数のフレーム群に分割される。
【００３６】
また、以上の予備シーン判定の動作ではフレームごとに緑色の画素値、すなわち、複数の色成分のうちの一部の色成分の情報のみに注目してシーンチェンジが判定されるため、他の色に対する処理を省略することによりシーンチェンジの検出の高速化が図られ、迅速に動画処理を行うことができる。
【００３７】
図９は本シーン判定部４０２の機能の詳細を示すブロック図であり、図１０は、本シーン判定の動作を示すフローチャートである。また、図１１ないし図１３は、本シーン判定を説明するための図である。
【００３８】
ステップＳ２１〜ステップＳ２５では、フレーム判定部４２１が、予備シーン判定部４０１からのシーンチェンジデータ５３および動画データ５１に基づいてフレーム群ＦＧ１における一部のフレームに対して、シーン判定を行う。ここで、シーン判定とは画像の特性（すなわち、画像が示すシーンの特性）の判定であり、例えば、特開平１１−２９８７３６号公報に開示されている夕焼け判定、色被り判定、コントラスト判定などに相当する。
【００３９】
より詳細には、ステップＳ２１において判定対象となる注目フレームが決定され、ステップＳ２２において注目フレームのシーン判定が行われる。これにより、注目フレームが示すシーンの特性が判定結果として取得される。なお、シーン判定は判定不能の場合も含めて行われ、判定結果はシーン特性ではなく判定不能を示す場合もある。
【００４０】
シーン判定において判定不能以外の判定結果が取得された場合（すなわち、シーン特性を示す判定結果が得られた場合）、ステップＳ２５により、所定時間だけ後続のフレームを次の注目フレームとして決定することができるか否かが確認され、次の注目フレームを決定することができる場合にはステップＳ２１へと戻る。
【００４１】
このような動作により、フレーム群ＦＧ１に対して、等時間間隔、例えば１秒ごとにフレームが離散的にサンプリングされる。具体的には、図１１に平行斜線で示すように３つのフレームＦ1，Ｆ4，Ｆ7が順次特定されるとともにシーン判定が行われる。
【００４２】
なお、フレーム群に対して予め設定されたフレーム数、例えば３フレームをサンプリングするようにしてもよい。この場合には、３フレームの時間間隔が等間隔とされることが好ましい。
【００４３】
また、各注目フレームに対するシーン判定では、図７に示した予備シーン判定の場合と同様に、注目フレーム中の所定の間隔ごとの画素の画素値が取得され、これらの画素値のみを用いてシーン判定が行われる。
【００４４】
シーン判定において判定不能であった場合には、再判定制御部４２２によるステップＳ２３，Ｓ２４により、注目フレーム近傍の他のフレームが新たな注目フレームとして決定され、ステップＳ２２に戻ってフレーム判定部４２１による再判定が実行される。例えば、図１１においてフレームＦ4が判定不能であった場合、図１２に示すようにフレームＦ4近傍の一のフレームＦ3が新たな注目フレームとして決定され、再判定が実行される。
【００４５】
フレームＦ3も判定不能の場合、図１３に示すようにフレームＦ5が新たな注目フレームとして決定され、さらに判定が実行される。フレームＦ5においても判定不能を示す判定結果が得られた場合には、フレームＦ4近傍のさらに他の一のフレームに対して判定が行われる。
【００４６】
なお、判定不能とは、注目フレームから導かれる様々な判定用パラメータの値が、「ハイコントラスト」「ローコントラスト」「アンダー」「オーバー」などの判定結果に対応して定められている判定用パラメータの範囲に属しないために、注目フレームが示すシーンの特性を明確に特定することができないことをいう。
【００４７】
例えば、逆光の際にはコントラストが高くなるとともに注目フレームの中央が周囲に比べて暗くなるが、中央が周囲に比べて若干暗いだけの場合には、注目フレームのシーン特性が「ハイコントラスト」なのか「逆光」なのかが判定不能となる。また、「ローコントラスト」なのか「アンダー」なのか、「緑被り」なのか「正常」（すなわち、緑色の被写体）なのかという判断も判定不能が生じ易い典型例として挙げることができる。
【００４８】
もちろん、判定用パラメータの範囲設定を調整することにより、判定不能となることを抑制あるいは防止することも可能であるが、画像処理装置１では、判定不能という判定結果を取得して再判定を行うことにより、不正確な判定結果の取得を防止している。
【００４９】
さらに具体的な例として色被りの判定について説明する。色被り判定では所定値以上の明度を有する画素に関して色相のヒストグラムが生成され、色相の第１の幅に８７％以上の画素が集中している場合には「色被り」ではなく「正常」（すなわち、特定の色の被写体）であると判定される。そして、８７％未満８３％以上の画素が集中している場合には「判定不能」とされる。
【００５０】
また、色相の第１の幅に８３％未満の画素が集中しており、色相の第２の幅（ただし、第２の幅は第１の幅よりも広い）に８２％以上の画素が集中している場合には「色被り」が生じていると判定される。第２の幅に８２％未満７８％以上の画素が集中している場合には「判定不能」と判定され、７８％未満の場合には色被りが生じていないと判定される。
【００５１】
このように、原則として画像から導かれる判定用パラメータの値としきい値とを比較することによりシーン判定が行われ、このような判定手法は「ハイコントラスト」、「ローコントラスト」、「オーバー」、「アンダー」、「夕焼け」などの他の種類の判定に関しても同様である。
【００５２】
再判定を伴うステップＳ２１〜Ｓ２５の処理により、フレーム群ＦＧ１において、およそ等しい時間間隔の複数のフレームに対して判定不能以外の判定結果が最終的に得られると、ステップＳ２６にてフレーム群判定部４２３がフレーム群ＦＧ１の最頻のシーン特性をそのフレーム群に共通の特性である共通シーン特性として決定する。決定された共通シーン特性は、共通シーン特性データ５４として補正部４０３へと送られる。
【００５３】
その後、ステップＳ２７において次のフレーム群が存在するか、すなわち、動画Ｖｄ１における全フレーム群に対してシーン判定が完了したか否かが確認される。ここで、次のフレーム群が存在する場合には、ステップＳ２１に戻り、次のフレーム群に対してステップＳ２１〜Ｓ２６の動作が行われる。例えば、図１１に示す動画Ｖｄ１ではフレーム群ＦＧ１の本シーン判定が完了すれば次のフレーム群ＦＧ２の本シーン判定に移行する。フレーム群ＦＧ２の共通シーン特性が求められると、フレーム群ＦＧ２の次のフレーム群が存在しないことから図４のステップＳ３へと移行する。
【００５４】
上記の本シーン判定の動作について、次の表１および表２を用いて具体的な判定結果を参照しながらさらに説明する。
【００５５】
【表１】
【００５６】
【表２】
【００５７】
ステップＳ２３，Ｓ２４による再判定を実行しない場合に、ステップＳ２１，Ｓ２２の動作により、表１のようにフレーム群ＦＧ１におけるフレームＦ1，Ｆ4，Ｆ7が、それぞれ「緑被り」、「判定不能」、「ノーマル」と判定されるものと仮定する。この場合、実際にはフレームＦ4の判定の際にステップＳ２３，Ｓ２４によりフレームＦ3に対する再判定が行われる。その結果、フレームＦ3の判定結果として「緑被り」が得られるものとすると、ステップＳ２１〜Ｓ２５の処理により画像処理装置１では表２に示す判定結果群が得られる。
【００５８】
したがって、ステップＳ２６では最頻のシーンである「緑被り」がフレーム群ＦＧ１の共通シーン特性と決定される。
【００５９】
その後、フレーム群ＦＧ２についても、フレーム群ＦＧ１と同様に本シーン判定が行われ、例えば、表３のように動画Ｖｄ１の全フレーム群に対する本シーン判定の結果が取得される。
【００６０】
【表３】
【００６１】
以上の本シーン判定の動作では、各フレーム群において両端のフレームに挟まれる複数のフレームに対してシーン判定が行われるため、精度良く共通シーン特性を決定することが実現される。また、判定不能という判定結果が得られたとしても再判定により判定不能以外の判定結果へと修正することができ、さらに精度よく共通シーン特性を求めることが実現される。
【００６２】
図１４は、図４中のステップＳ３における動画補正の動作を示すフローチャートである。
【００６３】
ステップＳ３１では、フレーム群ごとに補正パラメータ（補正レベル）が決定される。ここでは、例えば、表４に示すように、シーン特性が「ノーマル」、「ローコントラスト」、「ハイコントラスト」、「緑被り」、「緑被り＆ローコントラスト」である場合に画像を適切に表示するための各補正レベルが設定されている。そして、本シーン判定により決定された共通シーン特性に応じて補正レベルが決定される。例えば、図１１に示すフレーム群に対して表５に示す補正レベルが決定される。
【００６４】
【表４】
【００６５】
【表５】
【００６６】
ステップＳ３２〜Ｓ３６では、ステップＳ３１で決定された補正レベルに基づいて、色被り補正、コントラスト補正、彩度補正、シャープネス補正および明度補正が行われる。これにより、フレーム群の各フレームに対して共通シーン特性に応じた適切な画像補正が一律に行われる。
【００６７】
ステップＳ３７では、次のフレーム群が存在するか、すなわち、動画Ｖｄ１における全てのフレーム群の画像補正が完了したか否かが確認される。ここで、次のフレーム群が存在する場合には、ステップＳ３２に戻る。
【００６８】
なお、上記の動画補正の動作において、表５に示すようにフレーム群ごとに全フレームについて一律に補正レベルに設定するのでなく、シーンチェンジ近傍のフレームの補正レベルが隣接するフレーム群の補正レベルに応じて修正されてもよい。具体的には、表６に示すように、フレームＦ7〜Ｆ10の補正レベルが、隣のフレーム群の補正レベルを考慮して線形補間により調整されてもよい。
【００６９】
【表６】
【００７０】
これにより、フレーム群の境界において補正レベルが不連続となってしまうことを抑制でき、補正後の動画全体をスムーズな画像とすることができる。また、シーンチェンジが多少誤検出されたとしても、その悪影響を軽減することができる。
【００７１】
＜２． 第２実施形態＞
次に、第１実施形態における再判定の際に注目フレームを変更しない例を第２実施形態として説明する。なお、第２実施形態では、図１５に示す再判定の際の処理（ステップＳ２４ａ）を除き、画像処理装置１の構成および動作は第１実施形態と同様である。
【００７２】
図１６は再判定の際に注目フレームの画素配列Ｍｔのうち、シーン判定に利用される画素７２を平行斜線を付して示す図である。なお、注目フレームに対する最初のシーン判定が行われる際には、図７に示したように５画素おきの画素７１の画素値が利用されるものとする。
【００７３】
図７および図１６に示すように、再判定の際には再判定制御部４２２の制御により、シーン判定に利用される画素の間隔（サンプリングピッチ）が５画素から３画素へと小さくされ、シーン判定に利用される画素の数が増加される（ステップＳ２４ａ）。すなわち、通常、フレーム中の所定数の画素の値に基づいてシーン判定が行われるが、判定不能を示す判定結果が得られたフレームに対しては上記所定数よりも多い数の画素の値に基づいて再判定が行われる。
【００７４】
これにより、再判定の際に最初の判定よりも精度の高いシーン判定が行われ、判定不能という判定結果をシーン特性を示す判定結果へと変更することが可能となる。
【００７５】
もちろん、再判定において判定不能という結果が得られる可能性もあるが、この場合、シーン判定に利用される画素の間隔をさらに小さくしてさらに多くの画素がシーン判定に利用される。これにより、ほぼ確実に判定不能以外の判定結果を得ることが可能となる。
【００７６】
＜３． 第３実施形態＞
第１実施形態では、注目フレームのシーン判定が不可能な場合に、近傍の他の一のフレームに対して再判定を行うが、次に、第３実施形態として再判定の際に複数のフレームがシーン判定に利用される例について説明する。なお、第３実施形態においても図１７に示す再判定の際の処理（ステップＳ２４ｂ）を除き、画像処理装置１の構成および動作は第１実施形態と同様である。
【００７７】
図１８および図１９は、第３実施形態における再判定の際の動作を説明するための図である。図１８に示すように、動画Ｖｄ２中のフレームＦ1，Ｆ8，Ｆ15 が順次注目フレームとして決定される場合において、フレームＦ8に対する判定結果が判定不能である場合、再判定制御部４２２の制御により図１９に示すようにフレームＦ8近傍の複数のフレームＦ6，Ｆ10が判定対象に含められる（ステップＳ２４ｂ）。
【００７８】
具体的には、フレームＦ8中の画素値が３つのフレームＦ6，Ｆ8，Ｆ10の対応する画素の平均の画素値に置き換えられる。これにより、再判定の際に注目フレーム近傍のフレームの状態も考慮した適切なシーン判定が実現される。
【００７９】
その結果、判定結果として判定不能が得られてしまうことを抑制することができる。もちろん、再判定において判定不能という結果が得られる可能性もあるが、この場合、シーン判定に利用されるフレーム数がさらに多くされた上で再々判定が実行される。これにより、ほぼ確実に判定不能以外の判定結果を得ることが可能となる。
【００８０】
なお、注目フレーム近傍の複数のフレームが他の手法により再判定の際の判定対象に含められてもよい。例えば、注目フレームの前後の複数のフレームのそれぞれについて判定結果を取得し、判定不能以外の最も多い判定結果が注目フレームの判定結果として採用されてもよい。
【００８１】
以上のように、判定不能の判定結果が得られたフレーム近傍の複数のフレームに基づいて再判定を行うことにより、再判定を適切に行うことが実現される。
【００８２】
＜４． 第４実施形態＞
第２実施形態では、注目フレームを変更することなく再判定が行われる。既述のように注目フレームに対するシーン判定の処理は静止画に対するシーン判定とほぼ同様であり、第２実施形態に係る再判定の技術は静止画におけるシーン判定に応用することができる。
【００８３】
すなわち、画像処理装置１が図１５中のステップＳ２２〜Ｓ２４ａの動作を静止画に対して行うことにより、静止画に対する判定結果が判定不能である場合に再判定を実行することができる。再判定では既述のようにシーン判定に利用される画素の数が増される。これにより、より精度の高い静止画のシーン判定を必要最小限の時間で行うことが実現される。
【００８４】
また、第２実施形態における注目フレームに対する再判定の処理は様々に変形することが可能であり、再判定の対象となる注目フレームが変更されない限り、変形された再判定の処理を静止画に応用することが可能である。
【００８５】
例えば、図２０に示すように注目フレームの画素配列Ｍｔにおいて、フレームの中央を重視するために領域７３１内の一部の画素の値を用いてシーン判定が行われるものとし、最初のシーン判定において判定不能という判定結果が得られた場合に、再判定制御部４２２により領域７３１が領域７３２へと拡張されて再判定が実行されてもよい。これにより、判定不能以外の判定結果を効率よく求めることができる。
【００８６】
領域７３１が領域７３２に拡張される際には、シーン判定に利用される画素の数が同一に維持されてもよいし（すなわち、シーン判定に利用される画素の間隔が拡大される。）、シーン判定に利用される画素の数が増されてもよい。
【００８７】
一方、図２０に示す領域７３１の位置が再判定の際に再判定制御部４２２により領域７３３へと移動されてもよい。これにより、再判定の際に注目フレーム中の中央からやや上方の領域に基づいてシーン判定が実行される。その結果、中央の領域７３１では判定不能であっても再判定により判定不能以外の判定結果が得られる可能性が生じる。もちろん、再判定にて判定不能という判定結果が得られてしまった場合には、判定に利用する領域をさらに変更して再々判定が行われてよい。
【００８８】
以上のように、画像の特性を判定する際に判定不能を含む判定結果を取得し、判定不能の場合に演算対象となる画素を変更（好ましくは、増加）することにより、同一の画像に対する再度の判定を適切に実行することが可能となる。
【００８９】
＜５． 変形例＞
以上、本発明の実施形態について説明してきたが、本発明は上記実施形態に限定されるものではなく様々な変形が可能である。
【００９０】
第１ないし第３実施形態では、動画がノンリアルタイム（ノンリニア）にて補正されるが、動画の単位時間当たりの情報量が少なく、十分に高速な処理を行うことができるのであるならば、入力される動画をリアルタイムに解析および補正する画像処理装置１とされてもよい。
【００９１】
高速化を実現するために図３および図９に示した各種機能構成が専用の電気回路として構築されてもよい。特に、画像処理における繰り返し演算をハードウェア化することにより、高速化が容易に実現される。なお、上記動画補正では、再判定が行われたとしても判定対象となるフレーム数が大幅に増加することはないため、高速化への悪影響が最小限に抑えられる。
【００９２】
また、上記実施形態ではシーン判定が行われる注目フレームが一定のフレーム間隔（または、一定の時間間隔）にて決定されるものとして説明したが、注目フレームは任意に決定されてもよい。例えば、シーンチェンジ近傍では画像の明るさが安定していない可能性があるため、シーンチェンジ近傍以外の部位にて注目フレームが適宜決定されてもよい。
【００９３】
上記実施形態では、判定結果が判定不能の場合に判定対象フレームまたは判定精度を変更して再判定が行われるが、判定不能を示す可能性がある複数の判定結果に基づいてフレーム群（すなわち、動画）が示すシーンの特性が判定されるのであるならば、再判定の処理は省略されてもよい。例えば、判定不能のフレームが緑被りの判定結果のフレームの間に存在する場合に、判定不能の判定結果が緑被りに修正されてもよい。これにより、判定不能を考慮しつつフレーム群が示すシーンの特性を適切に判定することができる。
【００９４】
上記第１および３実施形態では、再判定の際に注目フレーム近傍の少なくとも１つのフレームが判定対象とされるが、このことは、注目フレーム近傍にてサンプリングを行うフレーム間隔が小さくされると捉えることも可能である。例えば、判定不能の判定結果が得られた場合に、次の注目フレームまでの間隔を短くするとともに少なくとも１つのフレームの判定結果を用いて判定不能の判定結果が他の判定結果に修正されるようになっていてもよい。
【００９５】
既述のように、判定結果が判定不能となるか否かは判定に用いられるしきい値の設定に依存する。したがって、しきい値の設定の仕方によっては判定不能という判定結果をなくすことも不可能ではない。この点を考慮し、最初の判定により判定不能という判定結果が得られた際に、別のしきい値を用いて判定不能以外の仮の判定結果も求めておき、仮の判定結果の信頼性を向上するために他のフレームの判定結果が利用されてもよい。
【００９６】
上記実施形態では、プログラムが記録媒体９からコンピュータである画像処理装置１に入力されるようになっているが、プログラムはネットワークを介してコンピュータ内に入力されてもよい。もちろん、動画データ（第４実施形態の場合は静止画データ）もネットワークを介して入出力が行われてもよい。
【００９７】
【発明の効果】
請求項１ないし５、並びに、請求項７および８の発明では、判定不能を考慮しつつ動画が示すシーンの特性を適切に判定することができる。
【００９８】
また、請求項２の発明では、再判定により精度よく判定を行うことができる。
【００９９】
また、請求項３の発明では、判定不能の判定結果に対応するフレーム画像近傍の一のフレーム画像を用いて、請求項４の発明では、判定不能の判定結果に対応するフレーム画像を用いて、請求項５の発明では、判定不能の判定結果に対応するフレーム画像近傍の複数のフレーム画像を用いて適切な再判定を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態に係る画像処理装置の要部構成を示す斜視図である。
【図２】画像処理装置の構成をブロックにて示す図である。
【図３】画像処理装置の機能構成をブロックにて示す図である。
【図４】画像処理装置の概略動作を示すフローチャートである。
【図５】予備シーン判定の動作を示すフローチャートである。
【図６】予備シーン判定を説明するための図である。
【図７】画素配列を示す図である。
【図８】ＣＣＤにおけるＲＧＢベイヤー配列を示す図である。
【図９】本シーン判定部の機能構成をブロックにて示す図である。
【図１０】本シーン判定の動作を示すフローチャートである。
【図１１】本シーン判定を説明するための図である。
【図１２】再判定を説明するための図である。
【図１３】再判定を説明するための図である。
【図１４】動画補正の動作を示すフローチャートである。
【図１５】第２実施形態における再判定の動作を示すフローチャートである。
【図１６】再判定を説明するための図である。
【図１７】第３実施形態における再判定の動作を示すフローチャートである。
【図１８】再判定を説明するための図である。
【図１９】再判定を説明するための図である。
【図２０】再判定の他の例を説明するための図である。
【符号の説明】
１ 画像処理装置
２ 処理部
９ 記録媒体
２３ 制御部
２４ｂ プログラム
７１，７２ 画素
４２１ フレーム判定部
４２３ フレーム群判定部
７３１〜７３３ 領域
Ｓ２１〜Ｓ２６ ステップ
Ｓ２４ａ，Ｓ２４ｂ ステップ
Ｆ1〜Ｆ12 フレーム
ＦＧ１，ＦＧ２ フレーム群
Ｖｄ１，Ｖｄ２ 動画
【発明の属する技術分野】
本発明は、画像が示すシーンの特性を判定する技術に関する。
【０００２】
【従来の技術】
従来の動画の補正においては、まず、予備的な処理として動画を構成するフレーム画像（以下、単に「フレーム」という。）ごとにその輝度などの変化を検出して動画におけるシーンチェンジ（シーン変化）が検出される。そして、シーンチェンジから次のシーンチェンジまでのフレーム群を実質的に同一シーンを示すフレーム群とみなし、フレーム群に共通するシーンの特性としての共通シーン特性が決定される。具体的には、シーンチェンジ直後のフレームが示すシーンの特性が判定され、判定結果が共通シーン特性とされる。
【０００３】
その後、共通シーン特性に応じた補正パラメータが求められ、補正パラメータに基づいてフレーム群に同一の画像補正が行われる。これにより、動画補正の効率化および適正化が図られる。
【０００４】
【発明が解決しようとする課題】
ところで、フレームが示すシーンの特性の判定（以下、「シーン判定」という。）において、判定結果の信頼性が低いために判定不能とすることが好ましい場合がある。この場合、共通シーン特性および補正パラメータを求めることが不可能となり、例えば、先行するフレーム群の補正に用いられた補正パラメータを用いて判定不能となったフレーム群に対して補正を行うなどの対策が必要となる。
【０００５】
なお、フレームに対するシーン判定は、静止画の補正の際に行われるシーン判定とほぼ同様であり、動画のみならず静止画においても判定不能の場合の対策は必要とされる。
【０００６】
本発明は、上記課題に鑑みなされたものであり、画像のシーンの特性の判定精度を向上することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明は、画像に対する判定を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程とを実行させる。
【０００８】
請求項２に記載の発明は、請求項１に記載のプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、前記複数の判定結果のいずれかが判定不能を示す場合に、判定不能の判定結果に対応して再判定を行う工程をさらに実行させる。
【０００９】
請求項３に記載の発明は、請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の一のフレーム画像に対して判定が行われる。
【００１０】
請求項４に記載の発明は、請求項２に記載のプログラムであって、前記複数の判定結果を取得する工程において、フレーム画像中の所定数の画素の値に基づいて判定が行われ、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像中の前記所定数よりも多い数の画素の値に基づいて判定が行われる。
【００１１】
請求項５に記載の発明は、請求項２に記載のプログラムであって、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の複数のフレーム画像に基づいて再判定が行われる。
【００１４】
請求項６に記載の発明は、コンピュータ読み取り可能な記録媒体であって、請求項１ないし５のいずれかに記載のプログラムを記録している。
【００１５】
請求項７に記載の発明は、画像処理方法であって、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程とを有する。
【００１７】
請求項８に記載の発明は、画像処理装置であって、動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する手段と、前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する手段とを備える。
【００１８】
【発明の実施の形態】
＜１． 第１実施形態＞
＜１．１ 画像処理装置の要部構成＞
図１は、本発明の第１実施形態に係る画像処理装置１の要部構成を示す斜視図である。画像処理装置１は、パーソナルコンピュータとして構成されており、箱型の形状を有する処理部２、操作部３およびモニタ４を備える。
【００１９】
処理部２は、画像処理を行う部位であり、前面に光ディスクなどの記録媒体９（図２参照）を挿入する挿入部２１を有する。操作部３は、マウス３１とキーボード３２とから構成され、ユーザからの画像処理装置１に対する入力操作を受付ける。モニタ４は、処理部２からの指示に基づいて表示を行う。
【００２０】
図２は、画像処理装置１の構成をブロックにて示す図である。
【００２１】
画像処理装置１の処理部２は、マウス３１、キーボード３２およびモニタ４が接続される入出力Ｉ／Ｆ２２、並びに、入出力Ｉ／Ｆ２２に電気的に接続された制御部２３を備える。さらに、処理部２は、制御部２３に電気的に接続された記憶部２４、入出力Ｉ／Ｆ２５および通信Ｉ／Ｆ２６を備える。
【００２２】
入出力Ｉ／Ｆ２２は、マウス３１、キーボード３２およびモニタ４と制御部２３との間でデータの送受をコントロールするためのインターフェイスである。
【００２３】
記憶部２４は、ハードディスクとして構成されており、オペレーションシステム（ＯＳ）２４ａ、および、画像処理を行うための演算処理プログラム２４ｂを記憶する。
【００２４】
入出力Ｉ／Ｆ２５は、挿入部２１を介して、記録媒体９に対するデータの入出力を行うためのインターフェイスである。通信Ｉ／Ｆ２６は、通信線１１（図１参照）を介して画像処理装置１の外部のネットワークと通信を行うためのインターフェイスである。
【００２５】
制御部２３は、ＣＰＵ２３１およびメモリ２３２を有しており、上記の各部を有機的に制御して画像処理装置１の動作を統括制御する部位である。メモリ２３２には、記録媒体９に記録されているプログラムデータを入出力Ｉ／Ｆ２５を介して格納することも可能とされている。すなわち、画像処理用のプログラム２４ｂは、記録媒体９からメモリ２３２に直接読み込むことも、記録媒体９から一旦記憶部２４に保存した後、メモリ２３２に読み込むことも可能とされている。そして、ＣＰＵ２３１がプログラムを実行することにより、コンピュータが画像処理装置としての動作を実行する。
【００２６】
＜１．２ 画像処理装置の動作＞
図３は、ＣＰＵ２３１がプログラムを実行することにより実現される機能をブロックにて示す図であり、図４は画像処理装置１の基本的な動作を示すフローチャートである。図３において、予備シーン判定部４０１、本シーン判定部４０２および補正部４０３がＣＰＵ２３１などにより実現される機能を示す。
【００２７】
図４に示すステップＳ１では、予備シーン判定部４０１により動画データ５１に基づいて動画の予備シーン判定が行われ、シーンチェンジが検出される。ステップＳ２では、本シーン判定部４０２により動画の本シーン判定が行われ、シーンチェンジからシーンチェンジまでの各フレーム群に対する共通シーン特性が求められる。ステップＳ３では、補正部４０３により共通シーン特性に基づいて動画補正が行われ、補正済動画データ５２が生成される。
【００２８】
図５は、予備シーン判定部４０１による動画の予備シーン判定の動作を示すフローチャートであり、図６は、予備シーン判定を説明するための図である。図６に例示する動画Ｖｄ１は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の各色成分が合成されたカラー画像である１２のフレームＦ1〜Ｆ12で構成されるものとする。以下、図５および図６を参照しながら動画Ｖｄ１に対する予備シーン判定について説明する。
【００２９】
ステップＳ１１では、カウンタｉに１が代入され、ステップＳ１２では、フレームＦiにおける緑色の画素値の平均値Ｇoldと、フレームＦi+1における緑色の画素値の平均値Ｇnewとが算出される。ここでは、図７に示す画素配列Ｍｔにおいて、一定画素、例えば５画素ごと（平行斜線を付す画素７１）の緑色の画素値がサンプリングされ、平均値が求められる。
【００３０】
ステップＳ１３では、平均値Ｇoldと平均値Ｇnewとの差Ｄが算出され、ステップＳ１４では、差Ｄがしきい値Ｔｈ以上となっているか否かが確認される。差Ｄがしきい値Ｔｈ以上となっている場合には、ステップＳ１５に進み、しきい値Ｔｈ未満の場合には、ステップＳ１６に進む。
【００３１】
ステップＳ１５に移行した場合、フレームＦiとフレームＦi+1との間にシーンチェンジが存在すると判定され、フレーム群（フレーム区間）の境界として、これらのフレーム番号が記録される。図６では、動画Ｖｄ１のフレームＦ8とフレームＦ9との間にシーンチェンジＳＣが存在すると判定され、フレームＦ1〜Ｆ8がフレーム群ＦＧ１とされ、フレームＦ9〜Ｆ12がフレーム群ＦＧ２とされた様子を示している。
【００３２】
ここで、画像情報であるＲＧＢの色成分のうち緑の色成分の画素値を抽出してシーンチェンジが判定されるのは、緑色の画素値は画像全体の輝度に近い特性を有し、従来の全色成分を考慮する方法と比べても遜色のない精度でシーンチェンジの判定が達成できるためである。
【００３３】
また、デジタルビデオカメラやデジタルスチルカメラで使用されるＣＣＤは、図８に示すようなＲＧＢベイヤー配列を有するものが多く、色Ｇに対する素子(平行斜線部)の個数が他の色Ｒ，Ｂのそれぞれに対する素子の２倍とされる。そして、各画素のＲ，ＧおよびＢの値は周囲の素子の出力値を補間することにより求められる。したがって、緑色の画素値に基づいて判定を行うことにより、シーンチェンジを精度良く判定することが可能となる。
【００３４】
ステップＳ１６では、カウンタｉにｉ＋１が代入され、ステップＳ１７では、カウンタｉが動画Ｖｄ１を構成する全フレーム数ｎ以上であるか、すなわち、処理対象の動画における全フレームに対してシーンチェンジの判定が完了したか否かを確認する。図６に示す動画Ｖｄ１の場合、ｎは１２となる。ここで、カウンタｉがｎ以上である場合には、ステップＳ２に進み、ｎ未満である場合には、ステップＳ１２に戻る。
【００３５】
以上の動作により、図６中にてに平行斜線で示す全フレームＦ1〜Ｆ12についてシーンチェンジが調べられ、画像の相関関係が高い、すなわち、それぞれが実質的に同一のシーン特性を有するとみなされる複数のフレーム群に分割される。
【００３６】
また、以上の予備シーン判定の動作ではフレームごとに緑色の画素値、すなわち、複数の色成分のうちの一部の色成分の情報のみに注目してシーンチェンジが判定されるため、他の色に対する処理を省略することによりシーンチェンジの検出の高速化が図られ、迅速に動画処理を行うことができる。
【００３７】
図９は本シーン判定部４０２の機能の詳細を示すブロック図であり、図１０は、本シーン判定の動作を示すフローチャートである。また、図１１ないし図１３は、本シーン判定を説明するための図である。
【００３８】
ステップＳ２１〜ステップＳ２５では、フレーム判定部４２１が、予備シーン判定部４０１からのシーンチェンジデータ５３および動画データ５１に基づいてフレーム群ＦＧ１における一部のフレームに対して、シーン判定を行う。ここで、シーン判定とは画像の特性（すなわち、画像が示すシーンの特性）の判定であり、例えば、特開平１１−２９８７３６号公報に開示されている夕焼け判定、色被り判定、コントラスト判定などに相当する。
【００３９】
より詳細には、ステップＳ２１において判定対象となる注目フレームが決定され、ステップＳ２２において注目フレームのシーン判定が行われる。これにより、注目フレームが示すシーンの特性が判定結果として取得される。なお、シーン判定は判定不能の場合も含めて行われ、判定結果はシーン特性ではなく判定不能を示す場合もある。
【００４０】
シーン判定において判定不能以外の判定結果が取得された場合（すなわち、シーン特性を示す判定結果が得られた場合）、ステップＳ２５により、所定時間だけ後続のフレームを次の注目フレームとして決定することができるか否かが確認され、次の注目フレームを決定することができる場合にはステップＳ２１へと戻る。
【００４１】
このような動作により、フレーム群ＦＧ１に対して、等時間間隔、例えば１秒ごとにフレームが離散的にサンプリングされる。具体的には、図１１に平行斜線で示すように３つのフレームＦ1，Ｆ4，Ｆ7が順次特定されるとともにシーン判定が行われる。
【００４２】
なお、フレーム群に対して予め設定されたフレーム数、例えば３フレームをサンプリングするようにしてもよい。この場合には、３フレームの時間間隔が等間隔とされることが好ましい。
【００４３】
また、各注目フレームに対するシーン判定では、図７に示した予備シーン判定の場合と同様に、注目フレーム中の所定の間隔ごとの画素の画素値が取得され、これらの画素値のみを用いてシーン判定が行われる。
【００４４】
シーン判定において判定不能であった場合には、再判定制御部４２２によるステップＳ２３，Ｓ２４により、注目フレーム近傍の他のフレームが新たな注目フレームとして決定され、ステップＳ２２に戻ってフレーム判定部４２１による再判定が実行される。例えば、図１１においてフレームＦ4が判定不能であった場合、図１２に示すようにフレームＦ4近傍の一のフレームＦ3が新たな注目フレームとして決定され、再判定が実行される。
【００４５】
フレームＦ3も判定不能の場合、図１３に示すようにフレームＦ5が新たな注目フレームとして決定され、さらに判定が実行される。フレームＦ5においても判定不能を示す判定結果が得られた場合には、フレームＦ4近傍のさらに他の一のフレームに対して判定が行われる。
【００４６】
なお、判定不能とは、注目フレームから導かれる様々な判定用パラメータの値が、「ハイコントラスト」「ローコントラスト」「アンダー」「オーバー」などの判定結果に対応して定められている判定用パラメータの範囲に属しないために、注目フレームが示すシーンの特性を明確に特定することができないことをいう。
【００４７】
例えば、逆光の際にはコントラストが高くなるとともに注目フレームの中央が周囲に比べて暗くなるが、中央が周囲に比べて若干暗いだけの場合には、注目フレームのシーン特性が「ハイコントラスト」なのか「逆光」なのかが判定不能となる。また、「ローコントラスト」なのか「アンダー」なのか、「緑被り」なのか「正常」（すなわち、緑色の被写体）なのかという判断も判定不能が生じ易い典型例として挙げることができる。
【００４８】
もちろん、判定用パラメータの範囲設定を調整することにより、判定不能となることを抑制あるいは防止することも可能であるが、画像処理装置１では、判定不能という判定結果を取得して再判定を行うことにより、不正確な判定結果の取得を防止している。
【００４９】
さらに具体的な例として色被りの判定について説明する。色被り判定では所定値以上の明度を有する画素に関して色相のヒストグラムが生成され、色相の第１の幅に８７％以上の画素が集中している場合には「色被り」ではなく「正常」（すなわち、特定の色の被写体）であると判定される。そして、８７％未満８３％以上の画素が集中している場合には「判定不能」とされる。
【００５０】
また、色相の第１の幅に８３％未満の画素が集中しており、色相の第２の幅（ただし、第２の幅は第１の幅よりも広い）に８２％以上の画素が集中している場合には「色被り」が生じていると判定される。第２の幅に８２％未満７８％以上の画素が集中している場合には「判定不能」と判定され、７８％未満の場合には色被りが生じていないと判定される。
【００５１】
このように、原則として画像から導かれる判定用パラメータの値としきい値とを比較することによりシーン判定が行われ、このような判定手法は「ハイコントラスト」、「ローコントラスト」、「オーバー」、「アンダー」、「夕焼け」などの他の種類の判定に関しても同様である。
【００５２】
再判定を伴うステップＳ２１〜Ｓ２５の処理により、フレーム群ＦＧ１において、およそ等しい時間間隔の複数のフレームに対して判定不能以外の判定結果が最終的に得られると、ステップＳ２６にてフレーム群判定部４２３がフレーム群ＦＧ１の最頻のシーン特性をそのフレーム群に共通の特性である共通シーン特性として決定する。決定された共通シーン特性は、共通シーン特性データ５４として補正部４０３へと送られる。
【００５３】
その後、ステップＳ２７において次のフレーム群が存在するか、すなわち、動画Ｖｄ１における全フレーム群に対してシーン判定が完了したか否かが確認される。ここで、次のフレーム群が存在する場合には、ステップＳ２１に戻り、次のフレーム群に対してステップＳ２１〜Ｓ２６の動作が行われる。例えば、図１１に示す動画Ｖｄ１ではフレーム群ＦＧ１の本シーン判定が完了すれば次のフレーム群ＦＧ２の本シーン判定に移行する。フレーム群ＦＧ２の共通シーン特性が求められると、フレーム群ＦＧ２の次のフレーム群が存在しないことから図４のステップＳ３へと移行する。
【００５４】
上記の本シーン判定の動作について、次の表１および表２を用いて具体的な判定結果を参照しながらさらに説明する。
【００５５】
【表１】
【表２】
ステップＳ２３，Ｓ２４による再判定を実行しない場合に、ステップＳ２１，Ｓ２２の動作により、表１のようにフレーム群ＦＧ１におけるフレームＦ1，Ｆ4，Ｆ7が、それぞれ「緑被り」、「判定不能」、「ノーマル」と判定されるものと仮定する。この場合、実際にはフレームＦ4の判定の際にステップＳ２３，Ｓ２４によりフレームＦ3に対する再判定が行われる。その結果、フレームＦ3の判定結果として「緑被り」が得られるものとすると、ステップＳ２１〜Ｓ２５の処理により画像処理装置１では表２に示す判定結果群が得られる。
【００５８】
したがって、ステップＳ２６では最頻のシーンである「緑被り」がフレーム群ＦＧ１の共通シーン特性と決定される。
【００５９】
その後、フレーム群ＦＧ２についても、フレーム群ＦＧ１と同様に本シーン判定が行われ、例えば、表３のように動画Ｖｄ１の全フレーム群に対する本シーン判定の結果が取得される。
【００６０】
【表３】
以上の本シーン判定の動作では、各フレーム群において両端のフレームに挟まれる複数のフレームに対してシーン判定が行われるため、精度良く共通シーン特性を決定することが実現される。また、判定不能という判定結果が得られたとしても再判定により判定不能以外の判定結果へと修正することができ、さらに精度よく共通シーン特性を求めることが実現される。
【００６２】
図１４は、図４中のステップＳ３における動画補正の動作を示すフローチャートである。
【００６３】
ステップＳ３１では、フレーム群ごとに補正パラメータ（補正レベル）が決定される。ここでは、例えば、表４に示すように、シーン特性が「ノーマル」、「ローコントラスト」、「ハイコントラスト」、「緑被り」、「緑被り＆ローコントラスト」である場合に画像を適切に表示するための各補正レベルが設定されている。そして、本シーン判定により決定された共通シーン特性に応じて補正レベルが決定される。例えば、図１１に示すフレーム群に対して表５に示す補正レベルが決定される。
【００６４】
【表４】
【表５】
ステップＳ３２〜Ｓ３６では、ステップＳ３１で決定された補正レベルに基づいて、色被り補正、コントラスト補正、彩度補正、シャープネス補正および明度補正が行われる。これにより、フレーム群の各フレームに対して共通シーン特性に応じた適切な画像補正が一律に行われる。
【００６７】
ステップＳ３７では、次のフレーム群が存在するか、すなわち、動画Ｖｄ１における全てのフレーム群の画像補正が完了したか否かが確認される。ここで、次のフレーム群が存在する場合には、ステップＳ３２に戻る。
【００６８】
なお、上記の動画補正の動作において、表５に示すようにフレーム群ごとに全フレームについて一律に補正レベルに設定するのでなく、シーンチェンジ近傍のフレームの補正レベルが隣接するフレーム群の補正レベルに応じて修正されてもよい。具体的には、表６に示すように、フレームＦ7〜Ｆ10の補正レベルが、隣のフレーム群の補正レベルを考慮して線形補間により調整されてもよい。
【００６９】
【表６】
これにより、フレーム群の境界において補正レベルが不連続となってしまうことを抑制でき、補正後の動画全体をスムーズな画像とすることができる。また、シーンチェンジが多少誤検出されたとしても、その悪影響を軽減することができる。
【００７１】
＜２． 第２実施形態＞
次に、第１実施形態における再判定の際に注目フレームを変更しない例を第２実施形態として説明する。なお、第２実施形態では、図１５に示す再判定の際の処理（ステップＳ２４ａ）を除き、画像処理装置１の構成および動作は第１実施形態と同様である。
【００７２】
図１６は再判定の際に注目フレームの画素配列Ｍｔのうち、シーン判定に利用される画素７２を平行斜線を付して示す図である。なお、注目フレームに対する最初のシーン判定が行われる際には、図７に示したように５画素おきの画素７１の画素値が利用されるものとする。
【００７３】
図７および図１６に示すように、再判定の際には再判定制御部４２２の制御により、シーン判定に利用される画素の間隔（サンプリングピッチ）が５画素から３画素へと小さくされ、シーン判定に利用される画素の数が増加される（ステップＳ２４ａ）。すなわち、通常、フレーム中の所定数の画素の値に基づいてシーン判定が行われるが、判定不能を示す判定結果が得られたフレームに対しては上記所定数よりも多い数の画素の値に基づいて再判定が行われる。
【００７４】
これにより、再判定の際に最初の判定よりも精度の高いシーン判定が行われ、判定不能という判定結果をシーン特性を示す判定結果へと変更することが可能となる。
【００７５】
もちろん、再判定において判定不能という結果が得られる可能性もあるが、この場合、シーン判定に利用される画素の間隔をさらに小さくしてさらに多くの画素がシーン判定に利用される。これにより、ほぼ確実に判定不能以外の判定結果を得ることが可能となる。
【００７６】
＜３． 第３実施形態＞
第１実施形態では、注目フレームのシーン判定が不可能な場合に、近傍の他の一のフレームに対して再判定を行うが、次に、第３実施形態として再判定の際に複数のフレームがシーン判定に利用される例について説明する。なお、第３実施形態においても図１７に示す再判定の際の処理（ステップＳ２４ｂ）を除き、画像処理装置１の構成および動作は第１実施形態と同様である。
【００７７】
図１８および図１９は、第３実施形態における再判定の際の動作を説明するための図である。図１８に示すように、動画Ｖｄ２中のフレームＦ1，Ｆ8，Ｆ15 が順次注目フレームとして決定される場合において、フレームＦ8に対する判定結果が判定不能である場合、再判定制御部４２２の制御により図１９に示すようにフレームＦ8近傍の複数のフレームＦ6，Ｆ10が判定対象に含められる（ステップＳ２４ｂ）。
【００７８】
具体的には、フレームＦ8中の画素値が３つのフレームＦ6，Ｆ8，Ｆ10の対応する画素の平均の画素値に置き換えられる。これにより、再判定の際に注目フレーム近傍のフレームの状態も考慮した適切なシーン判定が実現される。
【００７９】
その結果、判定結果として判定不能が得られてしまうことを抑制することができる。もちろん、再判定において判定不能という結果が得られる可能性もあるが、この場合、シーン判定に利用されるフレーム数がさらに多くされた上で再々判定が実行される。これにより、ほぼ確実に判定不能以外の判定結果を得ることが可能となる。
【００８０】
なお、注目フレーム近傍の複数のフレームが他の手法により再判定の際の判定対象に含められてもよい。例えば、注目フレームの前後の複数のフレームのそれぞれについて判定結果を取得し、判定不能以外の最も多い判定結果が注目フレームの判定結果として採用されてもよい。
【００８１】
以上のように、判定不能の判定結果が得られたフレーム近傍の複数のフレームに基づいて再判定を行うことにより、再判定を適切に行うことが実現される。
【００８２】
＜４． 第４実施形態＞
第２実施形態では、注目フレームを変更することなく再判定が行われる。既述のように注目フレームに対するシーン判定の処理は静止画に対するシーン判定とほぼ同様であり、第２実施形態に係る再判定の技術は静止画におけるシーン判定に応用することができる。
【００８３】
すなわち、画像処理装置１が図１５中のステップＳ２２〜Ｓ２４ａの動作を静止画に対して行うことにより、静止画に対する判定結果が判定不能である場合に再判定を実行することができる。再判定では既述のようにシーン判定に利用される画素の数が増される。これにより、より精度の高い静止画のシーン判定を必要最小限の時間で行うことが実現される。
【００８４】
また、第２実施形態における注目フレームに対する再判定の処理は様々に変形することが可能であり、再判定の対象となる注目フレームが変更されない限り、変形された再判定の処理を静止画に応用することが可能である。
【００８５】
例えば、図２０に示すように注目フレームの画素配列Ｍｔにおいて、フレームの中央を重視するために領域７３１内の一部の画素の値を用いてシーン判定が行われるものとし、最初のシーン判定において判定不能という判定結果が得られた場合に、再判定制御部４２２により領域７３１が領域７３２へと拡張されて再判定が実行されてもよい。これにより、判定不能以外の判定結果を効率よく求めることができる。
【００８６】
領域７３１が領域７３２に拡張される際には、シーン判定に利用される画素の数が同一に維持されてもよいし（すなわち、シーン判定に利用される画素の間隔が拡大される。）、シーン判定に利用される画素の数が増されてもよい。
【００８７】
一方、図２０に示す領域７３１の位置が再判定の際に再判定制御部４２２により領域７３３へと移動されてもよい。これにより、再判定の際に注目フレーム中の中央からやや上方の領域に基づいてシーン判定が実行される。その結果、中央の領域７３１では判定不能であっても再判定により判定不能以外の判定結果が得られる可能性が生じる。もちろん、再判定にて判定不能という判定結果が得られてしまった場合には、判定に利用する領域をさらに変更して再々判定が行われてよい。
【００８８】
以上のように、画像の特性を判定する際に判定不能を含む判定結果を取得し、判定不能の場合に演算対象となる画素を変更（好ましくは、増加）することにより、同一の画像に対する再度の判定を適切に実行することが可能となる。
【００８９】
＜５． 変形例＞
以上、本発明の実施形態について説明してきたが、本発明は上記実施形態に限定されるものではなく様々な変形が可能である。
【００９０】
第１ないし第３実施形態では、動画がノンリアルタイム（ノンリニア）にて補正されるが、動画の単位時間当たりの情報量が少なく、十分に高速な処理を行うことができるのであるならば、入力される動画をリアルタイムに解析および補正する画像処理装置１とされてもよい。
【００９１】
高速化を実現するために図３および図９に示した各種機能構成が専用の電気回路として構築されてもよい。特に、画像処理における繰り返し演算をハードウェア化することにより、高速化が容易に実現される。なお、上記動画補正では、再判定が行われたとしても判定対象となるフレーム数が大幅に増加することはないため、高速化への悪影響が最小限に抑えられる。
【００９２】
また、上記実施形態ではシーン判定が行われる注目フレームが一定のフレーム間隔（または、一定の時間間隔）にて決定されるものとして説明したが、注目フレームは任意に決定されてもよい。例えば、シーンチェンジ近傍では画像の明るさが安定していない可能性があるため、シーンチェンジ近傍以外の部位にて注目フレームが適宜決定されてもよい。
【００９３】
上記実施形態では、判定結果が判定不能の場合に判定対象フレームまたは判定精度を変更して再判定が行われるが、判定不能を示す可能性がある複数の判定結果に基づいてフレーム群（すなわち、動画）が示すシーンの特性が判定されるのであるならば、再判定の処理は省略されてもよい。例えば、判定不能のフレームが緑被りの判定結果のフレームの間に存在する場合に、判定不能の判定結果が緑被りに修正されてもよい。これにより、判定不能を考慮しつつフレーム群が示すシーンの特性を適切に判定することができる。
【００９４】
上記第１および３実施形態では、再判定の際に注目フレーム近傍の少なくとも１つのフレームが判定対象とされるが、このことは、注目フレーム近傍にてサンプリングを行うフレーム間隔が小さくされると捉えることも可能である。例えば、判定不能の判定結果が得られた場合に、次の注目フレームまでの間隔を短くするとともに少なくとも１つのフレームの判定結果を用いて判定不能の判定結果が他の判定結果に修正されるようになっていてもよい。
【００９５】
既述のように、判定結果が判定不能となるか否かは判定に用いられるしきい値の設定に依存する。したがって、しきい値の設定の仕方によっては判定不能という判定結果をなくすことも不可能ではない。この点を考慮し、最初の判定により判定不能という判定結果が得られた際に、別のしきい値を用いて判定不能以外の仮の判定結果も求めておき、仮の判定結果の信頼性を向上するために他のフレームの判定結果が利用されてもよい。
【００９６】
上記実施形態では、プログラムが記録媒体９からコンピュータである画像処理装置１に入力されるようになっているが、プログラムはネットワークを介してコンピュータ内に入力されてもよい。もちろん、動画データ（第４実施形態の場合は静止画データ）もネットワークを介して入出力が行われてもよい。
【００９７】
【発明の効果】
請求項１ないし５、並びに、請求項７および８の発明では、判定不能を考慮しつつ動画が示すシーンの特性を適切に判定することができる。
【００９８】
また、請求項２の発明では、再判定により精度よく判定を行うことができる。
【００９９】
また、請求項３の発明では、判定不能の判定結果に対応するフレーム画像近傍の一のフレーム画像を用いて、請求項４の発明では、判定不能の判定結果に対応するフレーム画像を用いて、請求項５の発明では、判定不能の判定結果に対応するフレーム画像近傍の複数のフレーム画像を用いて適切な再判定を行うことができる。
【図面の簡単な説明】
【図１】第１実施形態に係る画像処理装置の要部構成を示す斜視図である。
【図２】画像処理装置の構成をブロックにて示す図である。
【図３】画像処理装置の機能構成をブロックにて示す図である。
【図４】画像処理装置の概略動作を示すフローチャートである。
【図５】予備シーン判定の動作を示すフローチャートである。
【図６】予備シーン判定を説明するための図である。
【図７】画素配列を示す図である。
【図８】ＣＣＤにおけるＲＧＢベイヤー配列を示す図である。
【図９】本シーン判定部の機能構成をブロックにて示す図である。
【図１０】本シーン判定の動作を示すフローチャートである。
【図１１】本シーン判定を説明するための図である。
【図１２】再判定を説明するための図である。
【図１３】再判定を説明するための図である。
【図１４】動画補正の動作を示すフローチャートである。
【図１５】第２実施形態における再判定の動作を示すフローチャートである。
【図１６】再判定を説明するための図である。
【図１７】第３実施形態における再判定の動作を示すフローチャートである。
【図１８】再判定を説明するための図である。
【図１９】再判定を説明するための図である。
【図２０】再判定の他の例を説明するための図である。
【符号の説明】
１ 画像処理装置
２ 処理部
９ 記録媒体
２３ 制御部
２４ｂ プログラム
７１，７２ 画素
４２１ フレーム判定部
４２３ フレーム群判定部
７３１〜７３３ 領域
Ｓ２１〜Ｓ２６ ステップ
Ｓ２４ａ，Ｓ２４ｂ ステップ
Ｆ1〜Ｆ12 フレーム
ＦＧ１，ＦＧ２ フレーム群
Ｖｄ１，Ｖｄ２ 動画
Claims (8)
- 画像に対する判定を行うプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、
前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程と、
を実行させることを特徴とするプログラム。 - 請求項１に記載のプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータに、
前記複数の判定結果のいずれかが判定不能を示す場合に、判定不能の判定結果に対応して再判定を行う工程、
をさらに実行させることを特徴とするプログラム。 - 請求項２に記載のプログラムであって、
前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の一のフレーム画像に対して判定が行われることを特徴とするプログラム。 - 請求項２に記載のプログラムであって、
前記複数の判定結果を取得する工程において、フレーム画像中の所定数の画素の値に基づいて判定が行われ、前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像中の前記所定数よりも多い数の画素の値に基づいて判定が行われることを特徴とするプログラム。 - 請求項２に記載のプログラムであって、
前記再判定を行う工程において、前記判定不能の判定結果に対応するフレーム画像近傍の複数のフレーム画像に基づいて再判定が行われることを特徴とするプログラム。 - 請求項１ないし５のいずれかに記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
- 画像処理方法であって、
動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する工程と、
前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する工程と、
を有することを特徴とする画像処理方法。 - 画像処理装置であって、
動画中の複数のフレーム画像の特性を判定不能の場合を含めて判定し、複数の判定結果を取得する手段と、
前記複数の判定結果に基づいて前記動画が示すシーンの特性を判定する手段と、
を備えることを特徴とする画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001096314A JP4189565B2 (ja) | 2001-03-29 | 2001-03-29 | 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 |
| US09/984,991 US7136508B2 (en) | 2000-11-09 | 2001-11-01 | Image processing apparatus, method, and program for processing a moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001096314A JP4189565B2 (ja) | 2001-03-29 | 2001-03-29 | 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002300615A JP2002300615A (ja) | 2002-10-11 |
| JP4189565B2 true JP4189565B2 (ja) | 2008-12-03 |
Family
ID=18950240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001096314A Expired - Fee Related JP4189565B2 (ja) | 2000-11-09 | 2001-03-29 | 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4189565B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4444709B2 (ja) | 2004-03-26 | 2010-03-31 | 富士通株式会社 | 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム |
| JP4904918B2 (ja) * | 2006-05-22 | 2012-03-28 | セイコーエプソン株式会社 | 画像補正装置、画像補正方法、及び、プログラム |
| CN114554353B (zh) * | 2022-02-24 | 2024-01-16 | 北京小米移动软件有限公司 | 音频处理方法、装置、设备及存储介质 |
-
2001
- 2001-03-29 JP JP2001096314A patent/JP4189565B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002300615A (ja) | 2002-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7016549B1 (en) | Image processing method for direction dependent low pass filtering | |
| JP3758452B2 (ja) | 記録媒体、並びに、画像処理装置および画像処理方法 | |
| US7916937B2 (en) | Image processing device having color shift correcting function, image processing program and electronic camera | |
| US7697044B2 (en) | Image processing apparatus and image processing method | |
| JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
| US7652717B2 (en) | White balance correction in digital camera images | |
| JP3706789B2 (ja) | 信号処理装置及び信号処理方法 | |
| US20080062409A1 (en) | Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera | |
| TWI398163B (zh) | 影像訊號處理電路，影像拾取設備，及影像訊號處理方法與電腦程式 | |
| WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US8280162B2 (en) | Image processing apparatus and recording medium recording image processing program | |
| US20100141809A1 (en) | Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method | |
| JP2008311874A (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| US7623705B2 (en) | Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters | |
| EP1377072A1 (en) | Image processing device and image processing program | |
| US7136508B2 (en) | Image processing apparatus, method, and program for processing a moving image | |
| US8836824B2 (en) | Systems and methods for threshold-based luma channel noise reduction | |
| JP4189565B2 (ja) | 画像に対する判定を行うプログラム、記録媒体、画像処理方法および画像処理装置 | |
| US8666162B1 (en) | Advanced sensor binning correction | |
| JP2001197356A (ja) | 画像復元装置および画像復元方法 | |
| JP4369030B2 (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JP2008071014A (ja) | 画像処理プログラム、画像処理装置および電子カメラ | |
| US20060092171A1 (en) | Method and system for image white point estimation | |
| JP3748446B2 (ja) | 画像入力装置の画像処理回路 | |
| WO2024082288A1 (zh) | 视频处理方法、装置及显示设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051018 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080819 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |