JP4033384B2 - Kansei information reproduction device - Google Patents

Kansei information reproduction device Download PDF

Info

Publication number
JP4033384B2
JP4033384B2 JP2002127739A JP2002127739A JP4033384B2 JP 4033384 B2 JP4033384 B2 JP 4033384B2 JP 2002127739 A JP2002127739 A JP 2002127739A JP 2002127739 A JP2002127739 A JP 2002127739A JP 4033384 B2 JP4033384 B2 JP 4033384B2
Authority
JP
Japan
Prior art keywords
video
audio signal
signal
sensitivity information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002127739A
Other languages
Japanese (ja)
Other versions
JP2003324696A (en
Inventor
俊宏 清水
光穗 山田
明 大谷
和也 藤澤
武史 木村
浩一 石川
欣司 松村
一博 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2002127739A priority Critical patent/JP4033384B2/en
Publication of JP2003324696A publication Critical patent/JP2003324696A/en
Application granted granted Critical
Publication of JP4033384B2 publication Critical patent/JP4033384B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a sensitivity information encoding method, an encoder, an encoding program and a sensitivity information transmitting method, a transmitter, a transmitting program and a sensitivity information reproducing method, a reproducer, a reproducing program in which sensitivity, being an abstract concept, can be transmitted and reproduced in the form of sensitivity information. <P>SOLUTION: In a sensitivity information transmitter 3 for transmitting an objective signal or information of analysis while encoding into sensitivity information indicative of the extent of perception or sense and a sensitivity information reproducer 5 utilizing the sensitivity information, the sensitivity information transmitter 3 comprises an acquiring section 7, an analyzing/encoding section 9, and an associating/transmitting section 11 and the sensitivity information reproducer 5 comprises a receiving/separating section 17, a sensitivity information decoding section 19, an AV signal demodulating section 21, a video signal processing section 23, an audio signal processing section 25, an AV signal accumulating section 27, a reproduction control section 29, and a display section 31. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、放送番組等である映像・音声を視聴することによって生じる抽象的な概念を感性情報として再現する感性情報再現装置に関する。
【０００２】
【従来の技術】
従来、放送システムで提供される放送番組等によって伝送される情報は、映像・音声や文字、記号等の情報に限定されており、これらの情報の精度を上げること（鮮明な映像出力および忠実な音声出力等）や演出手法を工夫することで、放送番組等の制作者の演出意図を、当該放送番組を視聴する視聴者に伝送しようとしていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のシステムでは、伝送される情報は、映像・音声や文字、記号等の情報の精度を上げたり、演出手法を工夫したりしても、抽象的な概念である感性（例えば、迫力感、情緒性等）そのものを伝送することが十分にできないという問題がある。
【０００４】
また、感性そのものが受信側の視聴者の性格、嗜好、年齢、性別等によって異なっているので、放送側（送信側）で規定した抽象的な概念である感性を伝送したとしても、視聴者の感性に合わせることが困難であるという問題がある。
【０００５】
そこで、本発明の目的は、前記した従来の技術が有する課題を解消し、抽象的な概念である感性を感性情報として再現でき、しかも視聴者個人の感性に調和させることができる感性情報再現装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１に記載の感性情報再現装置は、映像信号、音声信号の少なくとも１つの信号を分析対象信号として、分析対象となる分析対象信号または分析対象に関する情報である分析対象情報を、知覚または感覚の程度を表す感性情報に符号化する感性情報符号化装置によって、当該分析対象信号を感性情報に符号化後、送信する感性情報送信装置によって送信された感性情報と、前記分析対象信号とを受信して、当該信号を当該感性情報に基づいて再現する感性情報再現装置であって、前記感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信する受信手段と、前記感性情報を復号化し、前記分析対象信号を加工するための制御信号を生成する感性情報復号化手段と、前記分析対象信号を復調して復調映像音声信号とする映像音声信号復調手段と、前記制御信号に基づいて前記復調映像音声信号を加工して加工映像音声信号とする映像音声信号加工手段と、前記復調映像音声信号を蓄積映像音声信号として蓄積する映像音声信号蓄積手段と、前記制御信号に基づいて前記映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御する再生制御手段と、前記加工映像音声信号と前記蓄積映像音声信号とを前記制御信号に基づいて出力表示する出力表示手段と、前記再生制御手段によって再生が制御される前記蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を前記出力表示手段に発生させるテスト映像音声信号発生手段と、このテスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成するアンケート項目作成手段と、を備え、前記アンケート項目作成手段で作成されたアンケート項目を参照して、前記感性情報復号化手段が前記感性情報を復号する際に供される変換係数を、前記テスト映像音声信号の視聴者毎に設定することを特徴とする。
【０００７】
かかる構成によれば、感性情報再現装置は、受信手段によって、感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信し、感性情報復号化手段によって、感性情報を復号化し、分析対象信号を加工するための制御信号を生成する。続いて、感性情報再現装置は、映像音声信号復調手段によって、分析対象信号を復調して復調映像音声信号とし、映像音声信号加工手段によって、制御信号に基づいて復調映像音声信号を加工して加工映像音声信号とする。そして、感性情報再現装置は、再生制御手段によって、制御信号に基づいて映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御し、出力表示手段によって、加工映像音声信号と蓄積映像音声信号とを制御信号に基づいて出力表示する。また、感性情報再現装置は、テスト映像音声信号発生手段によって、再生制御手段によって再生が制御される蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を出力表示手段に発生させ、アンケート項目作成手段によって、テスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成する。そして、感性情報再現装置は、アンケート項目作成手段で作成されたアンケート項目を参照して、感性情報復号化手段が感性情報を復号する際に供される変換係数を、テスト映像音声信号の視聴者毎に設定する。
【０００８】
請求項２に記載の感性情報再現装置は、請求項１に記載の感性情報再現装置において、前記感性情報復号化手段は、前記変換係数に基づき、前記視聴者それぞれに適応するように前記感性情報を復号化することを特徴とする。
【０００９】
かかる構成によれば、感性情報再現装置は、感性情報復号化手段によって、変換係数に基づき、視聴者それぞれに適応するように感性情報を復号化する。
【００３１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
この実施の形態の説明順序は、まず、感性情報送信装置（感性情報符号化装置包含）と感性情報再現装置とからなる感性情報送信再現システムの構成を説明し、次に、感性情報送信装置と感性情報再現装置の動作を説明し、その後に、具体的な感性情報（感性情報の表現空間）について説明する。
【００３２】
（感性情報送信再現システムの構成）
図１に感性情報送信再現システムのブロック図を示す。この図１に示すように、感性情報送信再現システム１は、感性情報送信装置３と、感性情報再現装置５とを備えている。
感性情報送信再現システム１は、抽象的な表現とこの抽象的な表現の度合である値とを統計処理した感性情報と、映像音声信号とを、送信側の感性情報送信装置３から送信し、この感性情報と映像音声信号とを受信した感性情報再現装置５で感性情報に基づいて、映像音声信号を加工して表示することで、感性情報（抽象的な表現）を再現するものである。
【００３３】
（感性情報送信装置の構成）
感性情報送信装置３は、入力された信号（取得された信号）を感性情報に符号化して送信するものであって、取得部７と、分析符号化部９と、関連付送信部１１と、記憶部１３と、表示部１５とを備えている。
取得部７は、入力された信号（取得された信号）を分別して処理を施すもので、生体計測手段７ａと、映像信号処理手段７ｂと、音声信号処理手段７ｃとを備えている。なお、この取得部７が請求項に記載した取得手段に相当するものである。
【００３４】
生体計測手段７ａは、映像音声信号を視聴している人体（生体）を計測して得られる生体計測信号を処理するものである。生体計測信号には、脳波、脈拍、心拍数等が挙げられる。
映像信号処理手段７ｂは、取得部７に映像音声信号が入力された場合に、映像信号を処理するものである。この映像信号処理手段７ｂでは、映像信号にタイムスタンプ等の時刻情報が付加されていない場合に、時刻情報を付加する処理が施される。
【００３５】
音声信号処理手段７ｃは、取得部７に映像音声信号が入力された場合に、音声信号を処理するものである。この音声信号処理部７ｃでは、音声信号にタイムスタンプ等の時刻情報が付加されていない場合に、時刻情報を付加する処理が施される。
分析符号化部９は、取得部７で取得された情報（映像音声信号、生体計測信号）を、主に因子分析によって感性情報に符号化するものであって、生理情報変換手段９ａと、色彩情報変換手段９ｂと、音質音量情報変換手段９ｃとを備えている。なお、この分析符号化部９が請求項に記載した分析符号化手段に相当するものである。一般的な因子分析の手法としてＳＤ（Ｓｅｍａｎｔｉｃ Ｄｉｆｆｅｒｅｎｔｉａｌ）法がある。このＳＤ法では、対象となる映像信号または音声信号もしくは商品（物）等の持つ印象を「明るい」と「暗い」、「楽しい」と「悲しい」、「軽い」と「重い」、といった対となる形容詞（形容詞対）によって表現し、また、その程度を数値で表したものを統計処理する手法である。このＳＤ法では、主に３０種類程度の形容詞対が用いられている。
【００３６】
この分析符号化部９における因子分析は、ＳＤ法を用いたもので、取得された情報（映像音声信号、生体計測信号）を、抽象的な表現（抽象的な概念）、例えば、「暖かさ」と「冷たさ」、「明るい」と「暗い」、「恐い」と「恐くない」、「楽しい」と「楽しくない」等のイメージを表現する対義語を持った形容詞で表現したものと、この形容詞で示した表現の程度を数値化したものとに分析する。すなわち、因子分析では、対義語の表現の上位概念である言葉を「ラベル」とする複数の因子軸によって構成される空間上の「値」として、形容詞で示した表現の程度が数値化される。因子軸の数は、感性情報を表現するための情報量を規定するものであり、一定のしきい値によって、因子分析における固有値の低いものが省略されており、感性情報の圧縮が可能となっている。
【００３７】
例えば、「恐い」と「恐くない」、「楽しい」と「楽しくない」という対義語であれば、この上位概念の言葉は「情緒性」であり、この「情緒性」そのまま因子軸の「ラベル」とされる。なお、通常のグラフ上のＸ軸に相当する因子軸を第一因子軸とし、Ｙ軸上に相当する因子軸を第二因子軸とし、Ｚ軸に相当する因子軸を第三因子軸とする。
【００３８】
生理情報変換手段９ａは、取得部７の生体計測手段７ａで処理された生体計測信号を感性情報に変換する（符号化する）ものである。つまり、この生理情報変換手段９ａでは、予め生体計測信号（生理指標の値）と感性情報の因子分析における因子軸の値との関係を表す係数が備えられており（記憶されており）、この係数によって、生体計測信号が感性情報に符号化される。
【００３９】
色彩情報変換手段９ｂは、取得部７の映像信号処理手段７ｂで処理され、時刻情報が付された映像信号を感性情報に変換する（符号化する）ものである。つまり、色彩情報変換手段９ｂでは、時刻情報が付された映像信号である映像シーンの中の主要な被写体や面積の大きい部分の色彩に対応した感性情報に符号化される。すなわち、この色彩情報変換手段９ｂでは、因子分析によらずに、映像信号に含まれている様々な色彩と感性情報とが対応付けられている変換テーブル（以下、色彩感性変換テーブルとする）が用いられて、映像信号が感性情報に直接変換される。つまり、感性情報に対応した色彩を持つ表色系の座標値に変換し、この色彩と座標値とを感性情報とするものである。例えば、感性情報（赤：９）とか感性情報（黄色：２１）といった具合に表現可能である。なお、この色彩感性変換テーブルは記憶部１３に記憶されている。また、この色彩変換テーブルは（株）日本カラーデザイン研究所「イメージスケール」ＰＡＴ．Ｎｏ１１０６３３４等に基づいて作成されている。
【００４０】
音質音量情報変換手段９ｃは、取得部７の音声信号処理手段７ｃで処理され、時刻情報が付された音声信号を感性情報に変換する（符号化する）ものである。
関連付送信部１１は、分析符号化部９で生成された感性情報と、映像音声信号とを関連付けて、送信する伝送媒体に応じて変調して（変調映像音声信号［放送波信号、通信用信号］）送信するものである。感性情報と映像音声信号とを関連付けるとは、多重化して送信すること、または、受信側で同期が取れるように映像音声信号に同期信号を付加して送信することを指すものである。なお、この関連付送信部１１が請求項に記載した関連付送信手段（出力手段を包括）に相当するものである。
【００４１】
記憶部１３は、因子分析する際に用いられる変換辞書と、色彩情報変換手段９ｂで利用される色彩感性変換テーブルとを記憶するものである。
表示部１５は、生体計測手段７ａで生体計測信号を計測した際に、生理情報変換手段９ａで当該生体計測信号を感性情報に符号化した場合に、この感性情報を表示して、当該感性情報送信装置３のユーザによって修正を行うために供されるものである。
【００４２】
この感性情報送信装置３によれば、取得部７で、映像音声信号、生体計測信号が取得され、信号処理が施される。そして、分析符号化部９で、因子分析等により、映像音声信号、生体計測信号が分析され、感性情報に符号化される。そして、関連付送信部１１で、映像音声信号と感性情報とが関連付けられて送信される。このため、抽象的な概念である感性を感性情報として送信することができる。また、この映像音声信号と感性情報とを受信した受信側では、感性情報に基づいて、映像音声信号を変更して（加工して）出力することができる。
また、取得部７において入力される信号が生体計測信号、例えば、脳波、脈拍、心拍数の少なくとも１つの人体の生理情報であった場合にも、分析符号化部９の生理情報変換手段９ａで感性情報に符号化することができる。
【００４３】
（感性情報再現装置の構成）
感性情報再現装置５は、送信側の感性情報送信装置３から送信された感性情報を復号化して、この復号化した感性情報に基づいて、映像音声信号を加工して表示するものであって、受信分離部１７と、感性情報復号化部１９と、映像音声信号復調部２１と、映像信号加工部２３と、音声信号加工部２５と、映像音声信号蓄積部２７と、再生制御部２９と、表示部３１と、アンケート項目作成部３３と、テスト映像音声信号発生部３５と、変換係数生成部３７と、因子分析標準データ蓄積部３９と、回答入力部４１とを備えている。
【００４４】
受信分離部１７は、送信側の感性情報送信装置３から送信された放送波信号または通信用信号を受信し、変調映像音声信号と感性情報とに分離するものである。また、通信回線網（図示せず）を介して、送受信双方で共通に保持される因子分析用の標準データである因子分析標準データを受信するものである。この受信分離部１７が請求項に記載した受信手段に相当するものである。
【００４５】
感性情報復号化部１９は、受信分離部１７で分離された感性情報を復号化して、復号化した感性情報に基づいて、復調された復調映像音声信号を加工するための制御信号を生成し、当該制御信号を映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７、再生制御部２９に出力するものである。なお、この感性情報復号化部１９が請求項に記載した感性情報復号化手段に相当するものである。
【００４６】
この感性情報復号化部１９では、まず、複数の因子軸（第一因子軸、第二因子軸、第三因子軸）によって構成される表現空間の座標軸上の点として、送信側の感性情報送信装置３から送信された因子軸の値（感性情報）を復号化する。より具体的に説明すると、この実施の形態では、因子分析標準データ蓄積部３９に蓄積されている因子分析標準データの因子負荷量における結果を基にして、座標軸上の点からユークリッド距離の一番近い因子負荷量上の点を求め、これに相当する抽象的な表現（形容詞）に復号する。そして、感性情報復号化部１９は、復号化した感性情報を、抽象的な表現と抽象的な表現の度合を示す値とによって予め設定されている制御信号に変換する。
【００４７】
また、座標軸上の点と映像音声信号を加工するための制御信号とが対応している軸点制御信号変換テーブルが備えられて、この軸点制御信号変換テーブルによって座標軸上の点が制御信号に変換されてもよい。或いは、この表現空間を適当に分割した領域に、予め映像音声信号を加工するための制御信号が割り振られている構成としてもよい。
【００４８】
また、この感性情報復号化部１９では、予め感性情報の因子分析における因子軸の値と生体計測信号（生理指標の値）との関係を表す係数が備えられており（記憶されており）、この係数によって、感性情報が生体計測信号に復号化され、この生体計測信号に基づいて制御信号が生成される。さらに、この感性情報復号化部１９は、感性情報を復号化して、受信側に備えられている周辺機器（照明器具、空調機等であり、室内ネットワーク等によって制御信号を受信可能に構成されている）を制御する周辺機器制御信号を生成することができる。感性情報再現装置５は、室内ネットワーク等を介して、周辺機器制御信号を送信することで、当該周辺機器を映像音声信号に同期させて制御することができる。
【００４９】
映像音声信号復調部２１は、受信分離部１７で分離された変調映像音声信号を復調して、復調映像音声信号を生成し、復調映像信号を映像信号加工部２３に、復調音声信号を音声信号加工部２５に、復調映像音声信号を映像音声信号蓄積部２７に出力するものである。なお、この映像音声信号復調部２１が請求項に記載した映像音声信号復調手段に相当するものである。
【００５０】
映像信号加工部２３は、映像音声信号復調部２１で復調された復調映像信号を、感性情報復号化部１９で生成された制御信号に基づいて、加工するものである。この映像信号加工部２３における映像加工は、復調映像信号の輝度、色相等を変更したり、復調映像信号の演出効果を変更する映像シーンのカットチェンジやフェードの時間間隔を制御するものである。なお、映像シーンのカットチェンジやフェードの時間間隔を制御する場合には、映像音声信号蓄積部２７を経由して一時的に復調映像信号を蓄積してから処理が施される。輝度、色相、映像シーンのカットチェンジやフェードの時間間隔を画像パラメータと総称することとする。
【００５１】
音声信号加工部２５は、映像音声信号復調部２１で復調された復調音声信号を、感性情報復号化部１９で生成された制御信号に基づいて、加工するものである。この音声信号加工部２５における音声加工は、復調音声信号の音量、音質等の音響特性（音響パラメータ）を変更したりするものである。
【００５２】
なお、映像信号加工部２３と音声信号加工部２５とで加工された映像信号と音声信号とを、まとめて加工映像音声信号と称呼する。また、映像信号加工部２３と音声信号加工部２５とが請求項に記載した映像音声信号加工手段に相当するものである。
【００５３】
映像音声信号蓄積部２７は、映像音声信号復調部２１で復調された復調映像音声信号を蓄積映像音声信号として蓄積するものである。なお、この映像音声信号蓄積部２７が請求項に記載した映像音声信号蓄積手段に相当するものである。
再生制御部２９は、感性情報復号化部１９で生成された制御信号に基づいて、映像音声信号蓄積部２７に蓄積されている蓄積映像音声映像信号の再生を制御するものである。なお、この再生制御部２９が請求項に記載した再生制御手段に相当するものである。
【００５４】
表示部３１は、映像信号加工部２３および音声信号加工部２５で加工された加工映像音声信号と、映像音声信号蓄積部２７に蓄積されている蓄積映像音声信号と、アンケート項目作成部３３およびテスト映像音声信号発生部３５で生成されるアンケート項目付きのテスト映像音声信号とを出力表示するものである。なお、この表示部３１が請求項に記載した出力表示手段に相当するものである。また、この表示部３１は、当該感性情報再現装置５から分離された一般的なテレビ、ラジオ（音声出力のみとなる）等であってもよい。
【００５５】
アンケート項目作成部３３は、テスト映像音声信号発生部３５で発生されたテスト映像音声信号に関して、このテスト映像音声信号を視聴する視聴者に対するアンケート項目を作成するものである。このアンケート項目作成部３３で作成されるアンケート項目には、例えば、テスト映像音声信号の輝度、色相、音量、音質に関する項目や、特定の映像シーン、例えば、残虐な映像シーンを見たいか見たくないかとか、或いは、ある音量以上に大きな音量の音声信号は少なくして欲しいとかに関する項目が挙げられる。なお、このアンケート項目作成部３３が請求項に記載したアンケート項目作成手段に相当するものである。
【００５６】
テスト映像音声信号発生部３５は、映像音声信号蓄積部２７に蓄積されている蓄積映像音声信号を利用して、視聴者がどういった映像音声信号を好むかといった視聴者の嗜好を測定するためのテスト映像音声信号を発生するものである。なお、このテスト映像音声信号発生部３５が請求項に記載した映像音声信号発生手段に相当するものである。
【００５７】
変換係数生成部３７は、テスト映像音声信号を視聴した視聴者が回答入力部４１から入力した入力結果と、因子分析標準データ蓄積部３９に蓄積されている因子分析標準データとに基づいて、感性情報を復号化する際に供される変換係数を生成するものである。この変換係数は、視聴者各個人に対応するように設定されており、この変換係数生成部３７には、この視聴者各個人に対応するように設定された変換係数を個人プロファイルとして記憶する個人プロファイル記憶手段（図示せず）が備えられている。
【００５８】
例えば、送信側の感性情報送信装置３から送信された感性情報が、不快に関連した因子軸若しくは興奮に関連した因子軸等の値が一定値を越えた場合や、送信された映像音声信号である放送番組が成人向けの番組や、暴力シーンのある番組であった場合を想定して説明する。まず、不快に関連した因子軸若しくは興奮に関連した因子軸等の値が一定値を越えた場合には、この個人プロファイル（変換係数）は、視聴者毎に異なる不快な程度、興奮する程度が視聴者各人に合うように設定する。また、映像音声信号である放送番組が成人向けの番組や、暴力シーンのある番組であった場合に、この個人プロファイル（変換係数）が未成年用のものであった際には、当該放送番組を全く視聴できなくすることや、該当シーンだけ削除（或いはモザイク処理）をするように設定されている。
【００５９】
因子分析標準データ蓄積部３９は、因子分析標準データを蓄積するものである。この因子分析標準データは、送信側である感性情報送信装置３の記憶部に記憶されている因子分析する際に用いられる変換辞書と同様のデータであり、通信回線網（図示せず）、受信分離部１７を介して入力されるものである。
【００６０】
回答入力部４１は、一般的なキーボード、マウス等の入力デバイスや、当該感性情報再現装置５に付属されているリモコン等であって、テスト映像音声信号発生部３５で発生されたテスト映像音声信号が表示部３１に表示され、このテスト映像音声信号を視聴者が視聴した場合に、当該テスト映像音声信号に付加されているアンケート項目に答えるために供されるものである。
【００６１】
この感性情報再現装置５によれば、受信分離部１７で、感性情報と映像信号、音声信号の少なくとも１つの信号とが受信される。感性情報復号化部１９で、感性情報が復号化され、この復号化された感性情報に基づいて、映像音声信号を加工するための制御信号が生成される。また、映像音声信号復調部２１で、受信分離部１７にて受信された映像音声信号は復調され、復調映像音声信号とされる。すると、映像信号加工部２３および音声信号加工部２５で、感性情報復号化部１９にて生成された制御信号に基づいて、復調映像音声信号が加工されて加工映像音声信号とされる。また、復調映像音声信号が蓄積映像音信号として映像音声信号蓄積部２７に蓄積され、再生制御部２９で蓄積映像音声信号の再生が制御される。そして、表示部３１で、加工映像音声信号と蓄積映像音声信号とが制御信号に基づいて出力表示される。つまり、再生制御手段では、感性情報に基づいて加工された（送信側から送信された映像音声信号が変更された）映像音声信号が出力表示されることになる。このため、抽象的な概念である感性を感性情報に基づいて、映像音声信号を加工することで、送信側から送信された抽象的な概念を再現することができる。
【００６２】
また、映像信号加工部２３で映像信号に含まれる映像シーンのカットチェンジ、フェード、映像の色相、輝度の少なくとも１つの画像パラメータが加工され、音声信号加工部２５で音声信号に含まれている音声の音量、音質の少なくとも１つの音響パラメータとの少なくとも１つのパラメータが加工される。このため、送信側から送信された感性情報が、様々な形態で映像音声信号に反映され、抽象的な概念を加工された映像音声信号として表現することができる。
【００６３】
さらに、テスト映像音声信号発生部３５でテスト映像音声信号が表示部３１に発生され、このテスト映像音声信号に関するアンケート項目がアンケート項目作成部３３で作成される。そして、このアンケート項目の回答が回答入力部４１で入力され、変換係数生成部３７で、視聴者各個人に応じた変換係数（個人プロファイル）が生成される。このため、送信側の感性情報送信装置３から送信される感性情報を視聴者個人の感性に調和させることができる。
【００６４】
（感性情報送信装置の動作）
次に、図２に示すフローチャートを参照して、感性情報送信装置３の動作を説明する（適宜図１参照）。
まず、感性情報送信装置３の取得部７に入力された信号は生体計測信号かどうかが判断される（Ｓ１）。そして、入力された信号が生体計測信号であると判断された場合（Ｓ１、Ｙｅｓ）には、取得部７の生体計測手段７ａで信号処理が施され、分析符号化部９に出力される（Ｓ２）。信号処理が施された生体計測信号が分析符号化部９に入力されると、生理情報変換手段９ａで感性情報に変換されて関連付送信部１１に出力される（Ｓ３）。
【００６５】
また、取得部７に入力された信号が生体計測信号であると判断されない場合（Ｓ１、Ｎｏ）には、取得部７に入力された信号は映像信号かどうかが判断される（Ｓ４）。そして、入力された信号が映像信号であると判断された場合（Ｓ４、Ｙｅｓ）には、取得部７の映像信号処理手段７ｂで信号処理が施され、分析符号化部９に出力される（Ｓ５）。信号処理が施された映像信号が分析符号化部９に入力されると、色彩情報変換手段９ｂで感性情報に変換されて関連付送信部１１に出力される（Ｓ６）。
【００６６】
さらに、取得部７に入力された信号が映像信号であると判断されない場合（Ｓ４、Ｎｏ）には、取得部７に入力された信号は音声信号かどうかが判断される（Ｓ７）。入力された信号が音声信号であると判断されない場合（Ｓ７、Ｎｏ）には、表示部１５にエラー表示がなされる（Ｓ８）。また、入力された信号が音声信号であると判断された場合（Ｓ７、Ｙｅｓ）には、取得部７の音声信号処理手段７ｃで信号処理が施され、分析符号化部９に出力される（Ｓ９）。信号処理が施された音声信号が分析符号化部９に入力されると、音質音量情報変換手段９ｃで感性情報に変換されて関連付送信部１１に出力される（Ｓ１０）。
【００６７】
その後、感性情報送信装置３の取得部７に符号化する信号がないかどうかが判断される（Ｓ１１）。符号化する信号がないと判断されない場合（符号化する信号がある場合）（Ｓ１１、Ｎｏ）には、Ｓ１に戻り、符号化する信号がないと判断された場合（Ｓ１１、Ｙｅｓ）には、関連付送信部１１で映像音声信号と感性情報とが関連付けられ、放送波信号または通信用信号として送信される（Ｓ１２）。
【００６８】
（感性情報再現装置の動作）
次に、図３に示すフローチャートを参照して、感性情報再現装置５の動作を説明する。
まず、感性情報再現装置５のユーザ（視聴者）に対して、テスト映像音声信号を視聴するか表示部３１にメッセージ表示がなされる（Ｓ２１）。感性情報再現装置５のユーザ（視聴者）がテスト映像音声信号を視聴すると、感性情報再現装置５によって判断された場合（Ｓ２１、Ｙｅｓ）には、テスト映像音声信号発生部３５でテスト映像音声信号が発生される（Ｓ２２）。
【００６９】
さらに、アンケート項目作成部３３で、テスト映像音声信号発生部３５で発生されたテスト映像音声信号に対応したアンケート項目が作成される（Ｓ２３）。そして、表示部３１にテスト映像音声信号とアンケート項目とが表示される（Ｓ２４）。その後、表示部３１に出力されたテスト映像音声信号とアンケート項目とを視聴している視聴者から回答が入力されるまで待機（Ｓ２５、Ｎｏ）され、回答が入力されたと判断された場合（Ｓ２５、Ｙｅｓ）には、変換係数生成部３７で因子分析標準データ蓄積部３９に蓄積されている因子分析標準データが参照され、変換係数が生成され、感性情報復号化部１９に出力される（Ｓ２６）。
【００７０】
Ｓ２１にて、感性情報再現装置５のユーザ（視聴者）がテスト映像音声信号を視聴すると、感性情報再現装置５によって判断されない場合（Ｓ２１、Ｎｏ）には、受信分離部１７で感性情報と変調映像音声信号とが受信されたかどうかが判断される（Ｓ２７）。両方が受信されたと判断されるまで待機し（Ｓ２７、Ｎｏ）、感性情報と変調映像音声信号との両方が受信されたと判断された場合（Ｓ２７、Ｙｅｓ）には、受信分離部１７で受信されているものが感性情報かどうか判断される。感性情報でないと判断された場合（Ｓ２８、Ｎｏ）には、変調映像音声信号とみなされ、映像音声信号復調部２１で復調され、復調された復調映像音声信号が映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７に出力される（Ｓ２９）。
【００７１】
また、感性情報であると判断された場合（Ｓ２８、Ｙｅｓ）には、感性情報復号化部１９で感性情報が復号化され、制御信号が生成され、この制御信号が映像信号加工部２３、音声信号加工部２５、映像音声信号蓄積部２７、再生制御部２９に出力される（Ｓ３０）。
【００７２】
すると、映像音声信号蓄積部２７では、復調映像音声信号が蓄積映像音声信号として蓄積され（Ｓ３１）、映像信号加工部２３および音声信号加工部２５では映像信号と音声信号とが変換係数生成部３７に記憶されている個人プロファイルが参照されて、加工処理が施される（Ｓ３２）。そして、再生制御部２９の制御によって、加工映像音声信号と蓄積映像音声信号とが適宜切り替えられて表示部３１に表示される（Ｓ３３）。そして、最後に感性情報再現装置５のユーザ（視聴者）に対して動作終了するかどうかのメッセージ表示が表示部３１になされ（Ｓ３４）、動作終了と判断されない場合（Ｓ３４、Ｎｏ）にはＳ２１に戻り、動作終了と判断された場合（Ｓ３４、Ｙｅｓ）には、感性情報再現装置５が停止される。
【００７３】
（感性情報の表現空間について）
ここで、図４を参照して、感性情報の表現空間について説明する。
この図４に示した感性情報の表現空間では、第一因子軸として「情緒性」を示す軸が備えられており、第二因子軸として「迫力感」を示す軸が備えられている。この図４に示したように、感性情報送信装置３から送信された感性情報が黒点（感性情報ａ、感性情報ｂ）で示されており、予め登録されている形容詞の因子負荷量が白点で示されている。
【００７４】
つまり、このような表現空間で表される感性情報が抽象的な概念として、送信側の感性情報送信装置３から受信側の感性情報再現装置５に伝送されている。
【００７５】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
感性情報送信装置３および感性情報再現装置５の各構成の動作を一連する工程とみなした感性情報送信方法（感性情報符号化方法を包含）、感性情報再現方法ととらえることも可能であるし、各構成を一般的なコンピュータ言語で記述した感性情報送信プログラム（感性情報符号化プログラムを包含）、感性情報再現プログラムとみなすことも可能である。これらの場合、感性情報送信装置３および感性情報再現装置５と同様の効果が得られる。
【００７６】
【発明の効果】
請求項１記載の発明によれば、感性情報と映像信号、音声信号の少なくとも１つの分析対象信号とが受信され、感性情報が復号化され、この復号化された感性情報に基づいて、分析対象信号を加工するための制御信号が生成される。この制御信号に基づいて、加工映像音声信号と蓄積映像音声信号とが出力表示される。つまり、感性情報に基づいて加工された（送信側から送信された映像音声信号が変更された）映像音声信号を出力表示することができる。また、映像音声信号発生手段でテスト映像音声信号が発生され、このテスト映像音声信号に関するアンケート項目がアンケート項目作成手段で作成される。このアンケートの回答に応じて、視聴者個人用に変換係数が設定されるので、送信側から送信される感性情報を視聴者個人の感性に調和させることができる。
【００７７】
請求項２記載の発明によれば、感性情報復号化手段が変換係数に基づき、視聴者それぞれに適応するように感性情報を復号化するので、この感性情報に基づいて加工された映像音声信号は、視聴者個人の感性や嗜好に適応することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である感性情報送信再現システムのブロック図である。
【図２】図１に示した感性情報送信装置の動作を説明したフローチャートである。
【図３】図１に示した感性情報再現装置の動作を説明したフローチャートである。
【図４】感性情報の表現空間を説明した説明図である。
【符号の説明】
１ 感性情報送信再現システム
３ 感性情報送信装置
５ 感性情報再現装置
７ 取得部
７ａ 生体計測手段
７ｂ 映像信号処理手段
７ｃ 音声信号処理手段
９ 分析符号化部
９ａ 生理情報変換手段
９ｂ 色彩情報変換手段
９ｃ 音質音量情報変換手段
１１ 関連付送信部
１７ 受信分離部
１９ 感性情報復号化部
２１ 映像音声信号復調部
２３ 映像信号加工部
２５ 音声信号加工部
２７ 映像音声信号蓄積部
２９ 再生制御部
３１ 表示部
３３ アンケート項目作成部
３５ テスト映像音声信号発生部
３７ 変換係数生成部
３９ 因子分析標準データ蓄積部
４１ 回答入力部[0001]
BACKGROUND OF THE INVENTION
  The present invention uses sensibility information as an abstract concept generated by viewing video / audio such as broadcast programs.ReShowFeelingSex information reproductionIn placeRelated.
[0002]
[Prior art]
Conventionally, information transmitted by a broadcast program provided by a broadcast system is limited to information such as video / audio, characters, symbols, etc., and improving the accuracy of such information (clear video output and faithfulness) By devising the audio output and the like and the production technique, the production intention of the producer of the broadcast program or the like was transmitted to the viewer who views the broadcast program.
[0003]
[Problems to be solved by the invention]
However, in the conventional system, the transmitted information is an abstract concept (for example, powerful) even if the accuracy of information such as video / audio, characters, symbols, etc. is improved or the production technique is devised. There is a problem that it is not possible to transmit the feeling, emotion, etc.) itself.
[0004]
In addition, since the sensibility itself varies depending on the personality, taste, age, sex, etc. of the viewer on the receiving side, even if the sensibility, which is an abstract concept defined on the broadcast side (transmitting side), is transmitted, There is a problem that it is difficult to match the sensitivity.
[0005]
  Therefore, an object of the present invention is to solve the above-mentioned problems of the prior art and to use the abstract concept of sensitivity as sensitivity information.ReCan be harmonized with the individual sensibility of the viewerFeelingSex information reproductionPlaceIt is to provide.
[0006]
[Means for Solving the Problems]
  In order to achieve the above-described object, the present invention has the following configuration.
  Claim 1InDescribedThe sensitivity information reproduction device uses at least one of a video signal and an audio signal as an analysis target signal, and analyzes the analysis target signal that is an analysis target or analysis target information that is information related to the analysis target. The sensitivity information encoding device that encodes the analysis target signal is encoded into the sensitivity information, and then the sensitivity information transmitted by the sensitivity information transmission device to be transmitted and the analysis target signal are received, and the signal is A sensitivity information reproduction device for reproducing based on the sensitivity information, receiving means for receiving the sensitivity information and at least one analysis target signal of a video signal and an audio signal, decoding the sensitivity information, and performing the analysis Kansei information decoding means for generating a control signal for processing the target signal, and video / audio signal demodulation by demodulating the analysis target signal into a demodulated video / audio signal And a video / audio signal processing means for processing the demodulated video / audio signal into a processed video / audio signal based on the control signal, and a video / audio signal storage means for storing the demodulated video / audio signal as an accumulated video / audio signal. Based on the control signal, reproduction control means for controlling reproduction of the stored video / audio signal stored in the video / audio signal storage means based on the control signal, and the processed video / audio signal and the stored video / audio signal based on the control signal. Output display means for outputting and displaying, and a test video / audio signal for causing the output display means to generate a test video / audio signal as a sample of the video / audio signal from among the stored video / audio signals whose reproduction is controlled by the reproduction control means Generating means and an questionnaire for creating a questionnaire item relating to the test video and audio signal generated by the test video and audio signal generating means. A conversion factor provided when the sensitivity information decoding means decodes the sensitivity information with reference to the questionnaire item created by the questionnaire item creation means, It is set for each viewer of the video / audio signal.
[0007]
  According to this configuration, the sensitivity information reproduction device receives the sensitivity information and at least one analysis target signal of the video signal and the audio signal by the reception unit, decodes the sensitivity information by the sensitivity information decoding unit, A control signal for processing the analysis target signal is generated. Subsequently, the sensitivity information reproduction device demodulates the analysis target signal by the video / audio signal demodulating means to obtain a demodulated video / audio signal, and the video / audio signal processing means processes and processes the demodulated video / audio signal based on the control signal. Video / audio signal. The sensitivity information reproduction apparatus controls reproduction of the stored video / audio signal stored in the video / audio signal storage unit based on the control signal by the reproduction control unit, and the processed video / audio signal and the stored video by the output display unit. An audio signal is output and displayed based on the control signal. The sensitivity information reproduction device causes the output display means to generate the test video / audio signal as a sample of the video / audio signal from the stored video / audio signal whose reproduction is controlled by the reproduction control means by the test video / audio signal generation means. Then, a questionnaire item relating to the test video / audio signal generated by the test video / audio signal generating means is created by the questionnaire item creating means. Then, the sensitivity information reproduction device refers to the questionnaire item created by the questionnaire item creation means, and converts the conversion coefficient provided when the sensitivity information decoding means decodes the sensitivity information to the viewer of the test video / audio signal. Set every time.
[0008]
  Claim 2InDescribedThe sensitivity information reproduction device according to claim 1, wherein the sensitivity information decoding means decodes the sensitivity information so as to adapt to each of the viewers based on the conversion coefficient. Features.
[0009]
  According to such a configuration, the sensitivity information reproducing device decodes the sensitivity information so as to be adapted to each viewer based on the conversion coefficient by the sensitivity information decoding means.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
The explanation order of this embodiment will be described first of the configuration of a Kansei information transmission reproduction system comprising a Kansei information transmitting device (including Kansei information encoding device) and a Kansei information reproducing device. The operation of the sensibility information reproduction device will be described, and then specific sensibility information (an expression space for sensitivity information) will be described.
[0032]
(Configuration of Kansei Information Transmission Reproduction System)
FIG. 1 shows a block diagram of a sensitivity information transmission reproduction system. As shown in FIG. 1, the sensitivity information transmission reproduction system 1 includes a sensitivity information transmission device 3 and a sensitivity information reproduction device 5.
The sensitivity information transmission reproduction system 1 transmits sensitivity information obtained by statistically processing an abstract expression and a value that is the degree of the abstract expression, and a video / audio signal from the sensitivity information transmission device 3 on the transmission side, Sensitivity information (abstract expression) is reproduced by processing and displaying the video / audio signal based on the sensibility information by the sensibility information reproduction device 5 that has received the sensibility information and the video / audio signal.
[0033]
(Configuration of Kansei Information Transmitter)
The sensibility information transmitting device 3 encodes an input signal (acquired signal) and transmits it to sensibility information, and includes an acquisition unit 7, an analysis encoding unit 9, an associated transmission unit 11, A storage unit 13 and a display unit 15 are provided.
The acquisition unit 7 performs processing by classifying input signals (acquired signals), and includes a biological measurement unit 7a, a video signal processing unit 7b, and an audio signal processing unit 7c. The acquisition unit 7 corresponds to the acquisition means described in the claims.
[0034]
  The living body measuring means 7a processes a living body measuring signal obtained by measuring a human body (living body) who is viewing the video / audio signal. Examples of the biological measurement signal include an electroencephalogram, a pulse, and a heart rate.
  The video signal processing means 7b processes the video signal when the video / audio signal is input to the acquisition unit 7. This video signal processingmeansIn 7b, when time information such as a time stamp is not added to the video signal, processing for adding time information is performed.
[0035]
The audio signal processing means 7c processes the audio signal when the video / audio signal is input to the acquisition unit 7. In the audio signal processing unit 7c, when time information such as a time stamp is not added to the audio signal, processing for adding time information is performed.
The analysis encoding unit 9 encodes information (video / audio signal, biological measurement signal) acquired by the acquisition unit 7 into sensitivity information mainly by factor analysis, and includes a physiological information conversion unit 9a, a color Information conversion means 9b and sound quality / volume information conversion means 9c are provided. The analysis encoding unit 9 corresponds to the analysis encoding means described in the claims. As a general factor analysis technique, there is an SD (Semantic Differential) method. In this SD method, the impression of the target video signal, audio signal or product (thing) is “bright” and “dark”, “fun” and “sad”, “light” and “heavy”. This is a technique for statistically processing the adjectives (adjective pairs) that are expressed in terms of numerical values. In this SD method, about 30 types of adjective pairs are mainly used.
[0036]
The factor analysis in the analysis encoding unit 9 uses the SD method, and the acquired information (video / audio signal, biological measurement signal) is converted into an abstract expression (abstract concept), for example, “warmth”. ”And“ cold ”,“ bright ”and“ dark ”,“ scary ”and“ not scary ”,“ fun ”and“ not fun ”etc. Analyze the degree of expression expressed in adjectives as a numerical value. That is, in the factor analysis, the degree of the expression indicated by the adjective is quantified as a “value” on a space constituted by a plurality of factor axes in which a word that is a superordinate concept of the expression of the synonym is “label”. The number of factor axes prescribes the amount of information used to express sensibility information, and the low eigenvalues in factor analysis are omitted by a certain threshold, enabling compression of sensibility information. ing.
[0037]
For example, if it is a synonym of "scary" and "not scary", "fun" and "not fun", the word of this superordinate concept is "emotional", and this "emotional" is the "label" of the factor axis as it is It is said. The factor axis corresponding to the X axis on the normal graph is the first factor axis, the factor axis corresponding to the Y axis is the second factor axis, and the factor axis corresponding to the Z axis is the third factor axis. .
[0038]
The physiological information conversion means 9a converts (encodes) the biological measurement signal processed by the biological measurement means 7a of the acquisition unit 7 into sensitivity information. That is, the physiological information conversion means 9a is provided with (stores) a coefficient representing the relationship between the biological measurement signal (physiological index value) and the value of the factor axis in the factor analysis of sensitivity information in advance. The biometric measurement signal is encoded into the sensitivity information by the coefficient.
[0039]
The color information conversion means 9b converts (encodes) the video signal processed by the video signal processing means 7b of the acquisition unit 7 and attached with time information into sensitivity information. That is, the color information conversion unit 9b encodes the sensitivity information corresponding to the color of the main subject or the large area in the video scene which is the video signal to which the time information is added. That is, in this color information conversion means 9b, a conversion table (hereinafter referred to as a color sensitivity conversion table) in which various colors included in the video signal and sensitivity information are associated without using factor analysis. Used, the video signal is directly converted into sensitivity information. That is, it is converted into a coordinate value of a color system having a color corresponding to the sensitivity information, and this color and the coordinate value are used as sensitivity information. For example, sensitivity information (red: 9) or sensitivity information (yellow: 21) can be expressed. This color sensitivity conversion table is stored in the storage unit 13. In addition, this color conversion table is “Color Scale” PAT. It is created based on No1106334 and the like.
[0040]
The sound quality / volume information conversion means 9c converts (encodes) an audio signal processed by the audio signal processing means 7c of the acquisition unit 7 and attached with time information into sensitivity information.
The associating transmission unit 11 associates the sensitivity information generated by the analysis encoding unit 9 with the video / audio signal, and modulates the modulated information according to the transmission medium to be transmitted (modulated video / audio signal [broadcast wave signal, for communication Signal]) to be transmitted. Associating the sensibility information with the video / audio signal refers to multiplexing and transmitting, or adding a synchronization signal to the video / audio signal so that synchronization can be achieved on the receiving side. The associated transmission unit 11 corresponds to the associated transmission means (including the output means) recited in the claims.
[0041]
The storage unit 13 stores a conversion dictionary used for factor analysis and a color sensitivity conversion table used by the color information conversion unit 9b.
When the living body measurement signal is measured by the living body measuring means 7a and the physiological information converting means 9a encodes the living body measurement signal into sensitivity information, the display unit 15 displays the sensitivity information and displays the sensitivity information. This is provided for correction by the user of the transmission device 3.
[0042]
According to this sensibility information transmitting device 3, the acquisition unit 7 acquires a video / audio signal and a biological measurement signal, and performs signal processing. Then, the analysis encoding unit 9 analyzes the video / audio signal and the biological measurement signal by factor analysis or the like, and encodes them into the sensitivity information. Then, the associated transmission unit 11 transmits the video / audio signal and the sensitivity information in association with each other. For this reason, the sensitivity which is an abstract concept can be transmitted as sensitivity information. On the receiving side that receives the video / audio signal and the sensitivity information, the video / audio signal can be changed (processed) and output based on the sensitivity information.
Even when the signal input in the acquisition unit 7 is a biological measurement signal, for example, physiological information of at least one human body such as an electroencephalogram, a pulse, and a heart rate, the physiological information conversion means 9a of the analysis encoding unit 9 It can be encoded into sensitivity information.
[0043]
(Configuration of Kansei Information Reproduction Device)
The sensibility information reproduction device 5 decodes the sensibility information transmitted from the sensibility information transmission device 3 on the transmission side, processes and displays the video / audio signal based on the decoded sensibility information, A reception separation unit 17, a sensitivity information decoding unit 19, a video / audio signal demodulation unit 21, a video signal processing unit 23, an audio signal processing unit 25, a video / audio signal storage unit 27, a reproduction control unit 29, A display unit 31, a questionnaire item creation unit 33, a test video / audio signal generation unit 35, a conversion coefficient generation unit 37, a factor analysis standard data storage unit 39, and an answer input unit 41 are provided.
[0044]
The reception separation unit 17 receives a broadcast wave signal or a communication signal transmitted from the sensitivity information transmission device 3 on the transmission side, and separates it into a modulated video / audio signal and sensitivity information. Also, factor analysis standard data, which is standard data for factor analysis that is commonly held in both transmission and reception, is received via a communication network (not shown). The reception separating unit 17 corresponds to the receiving means described in the claims.
[0045]
The sensitivity information decoding unit 19 decodes the sensitivity information separated by the reception separation unit 17 and generates a control signal for processing the demodulated demodulated video / audio signal based on the decoded sensitivity information, The control signal is output to the video signal processing unit 23, the audio signal processing unit 25, the video / audio signal storage unit 27, and the reproduction control unit 29. It should be noted that the sensitivity information decoding unit 19 corresponds to the sensitivity information decoding means recited in the claims.
[0046]
The sensitivity information decoding unit 19 first transmits the sensitivity information on the transmission side as a point on the coordinate axis of the expression space constituted by a plurality of factor axes (first factor axis, second factor axis, third factor axis). The factor axis value (sensitivity information) transmitted from the device 3 is decoded. More specifically, in this embodiment, based on the result of factor loading of factor analysis standard data accumulated in the factor analysis standard data accumulation unit 39, the most Euclidean distance from the point on the coordinate axis is calculated. Find a point on the factor loading that is close and decode it to an abstract expression (adjective) corresponding to it. Then, the sensibility information decoding unit 19 converts the decoded sensibility information into a control signal set in advance by an abstract expression and a value indicating the degree of the abstract expression.
[0047]
Also, an axis point control signal conversion table in which a point on the coordinate axis corresponds to a control signal for processing the video / audio signal is provided, and the point on the coordinate axis is converted into a control signal by this axis point control signal conversion table. It may be converted. Or it is good also as a structure by which the control signal for processing a video-audio signal is previously allocated to the area | region which divided | segmented this expression space suitably.
[0048]
The sensitivity information decoding unit 19 includes (stores) a coefficient representing the relationship between the factor axis value and the biological measurement signal (physiological index value) in factor analysis of sensitivity information in advance. Sensitivity information is decoded into a biological measurement signal by this coefficient, and a control signal is generated based on this biological measurement signal. Further, the sensibility information decoding unit 19 decodes the sensibility information, and is configured to be able to receive a control signal by a peripheral device (lighting equipment, air conditioner, etc.) provided on the receiving side through an indoor network or the like. Peripheral device control signals for controlling The sensitivity information reproduction device 5 can control the peripheral device in synchronization with the video / audio signal by transmitting the peripheral device control signal via the indoor network or the like.
[0049]
The video / audio signal demodulator 21 demodulates the modulated video / audio signal separated by the reception separator 17 to generate a demodulated video / audio signal, the demodulated video signal to the video signal processor 23, and the demodulated audio signal to the audio signal. The demodulated video / audio signal is output to the video / audio signal storage unit 27 to the processing unit 25. The video / audio signal demodulator 21 corresponds to the video / audio signal demodulator described in the claims.
[0050]
The video signal processing unit 23 processes the demodulated video signal demodulated by the video / audio signal demodulation unit 21 based on the control signal generated by the sensitivity information decoding unit 19. The video processing in the video signal processing unit 23 is to control the time interval of the video scene cut change or fade that changes the luminance, hue, etc. of the demodulated video signal or changes the effect of the demodulated video signal. Note that when controlling the time interval between video scene cut-changes and fades, the demodulated video signal is temporarily stored via the video / audio signal storage unit 27 before being processed. Luminance, hue, video scene cut-change and fade time intervals are collectively referred to as image parameters.
[0051]
The audio signal processing unit 25 processes the demodulated audio signal demodulated by the video / audio signal demodulation unit 21 based on the control signal generated by the sensitivity information decoding unit 19. The sound processing in the sound signal processing unit 25 is to change acoustic characteristics (acoustic parameters) such as volume and sound quality of the demodulated sound signal.
[0052]
The video signal and the audio signal processed by the video signal processing unit 23 and the audio signal processing unit 25 are collectively referred to as a processed video / audio signal. The video signal processing unit 23 and the audio signal processing unit 25 correspond to the video / audio signal processing means described in the claims.
[0053]
The video / audio signal accumulation unit 27 accumulates the demodulated video / audio signal demodulated by the video / audio signal demodulation unit 21 as an accumulated video / audio signal. The video / audio signal storage unit 27 corresponds to the video / audio signal storage means described in the claims.
The reproduction control unit 29 controls the reproduction of the stored video / audio video signal stored in the video / audio signal storage unit 27 based on the control signal generated by the sensitivity information decoding unit 19. The reproduction control unit 29 corresponds to the reproduction control means described in the claims.
[0054]
The display unit 31 includes a processed video / audio signal processed by the video signal processing unit 23 and the audio signal processing unit 25, a stored video / audio signal stored in the video / audio signal storage unit 27, a questionnaire item creation unit 33, and a test. A test video / audio signal with a questionnaire item generated by the video / audio signal generator 35 is output and displayed. The display unit 31 corresponds to output display means described in the claims. The display unit 31 may be a general television, radio (only audio output) separated from the sensitivity information reproduction device 5.
[0055]
The questionnaire item creation unit 33 creates a questionnaire item for a viewer who views the test video / audio signal with respect to the test video / audio signal generated by the test video / audio signal generation unit 35. The questionnaire items created by the questionnaire item creation unit 33 include, for example, items relating to the luminance, hue, volume, and sound quality of the test video / audio signal and whether you want to see a specific video scene, for example, a cruel video scene. There are items related to whether or not there is an audio signal having a volume higher than a certain volume. In addition, this questionnaire item preparation part 33 is equivalent to the questionnaire item preparation means described in the claim.
[0056]
The test video / audio signal generator 35 uses the stored video / audio signal stored in the video / audio signal storage 27 to measure the viewer's preference such as what video / audio signal the viewer likes. The test video / audio signal is generated. The test video / audio signal generator 35 corresponds to the video / audio signal generator described in the claims.
[0057]
Based on the input result input from the answer input unit 41 by the viewer who viewed the test video / audio signal and the factor analysis standard data stored in the factor analysis standard data storage unit 39, the conversion coefficient generation unit 37 A transform coefficient used when decoding information is generated. This conversion coefficient is set so as to correspond to each individual viewer, and this conversion coefficient generation unit 37 stores the conversion coefficient set corresponding to each individual viewer as a personal profile. Profile storage means (not shown) is provided.
[0058]
For example, when the sensitivity information transmitted from the sensitivity information transmitting device 3 on the transmission side exceeds a certain value such as a factor axis related to discomfort or a factor axis related to excitement, A description will be given assuming that a broadcast program is a program for adults or a program with a violent scene. First, if the value of the factor axis related to discomfort or the factor axis related to excitement exceeds a certain value, this personal profile (conversion coefficient) has an unpleasant degree of excitement that varies from viewer to viewer. Set to suit each viewer. In addition, when the broadcast program that is a video / audio signal is a program for adults or a program with a violent scene, if this personal profile (conversion coefficient) is for a minor, the broadcast program Is set so as to be completely unviewable and to delete only the corresponding scene (or mosaic processing).
[0059]
The factor analysis standard data storage unit 39 stores factor analysis standard data. This factor analysis standard data is the same data as the conversion dictionary used in the factor analysis stored in the storage unit of the sensitivity information transmitting apparatus 3 on the transmission side, and includes a communication line network (not shown), reception It is input via the separation unit 17.
[0060]
The answer input unit 41 is a general input device such as a keyboard or a mouse, a remote controller attached to the sensitivity information reproduction device 5, and the test video / audio signal generated by the test video / audio signal generation unit 35. Is displayed on the display unit 31 and is provided to answer a questionnaire item added to the test video / audio signal when the viewer views the test video / audio signal.
[0061]
According to this sensibility information reproduction device 5, the reception separation unit 17 receives sensibility information and at least one of a video signal and an audio signal. The sensitivity information decoder 19 decodes the sensitivity information, and generates a control signal for processing the video / audio signal based on the decoded sensitivity information. Also, the video / audio signal demodulator 21 demodulates the video / audio signal received by the receiving / separating unit 17 to obtain a demodulated video / audio signal. Then, the video signal processing unit 23 and the audio signal processing unit 25 process the demodulated video / audio signal into a processed video / audio signal based on the control signal generated by the sensitivity information decoding unit 19. In addition, the demodulated video / audio signal is stored in the video / audio signal storage unit 27 as the stored video / audio signal, and the reproduction control unit 29 controls the reproduction of the stored video / audio signal. Then, the display unit 31 outputs and displays the processed video / audio signal and the stored video / audio signal based on the control signal. That is, the reproduction control means outputs and displays the video / audio signal processed based on the sensitivity information (the video / audio signal transmitted from the transmission side is changed). For this reason, the abstract concept transmitted from the transmitting side can be reproduced by processing the video / audio signal based on the sensitivity, which is an abstract concept.
[0062]
The video signal processing unit 23 processes at least one image parameter of a video scene cut change, fade, video hue, and luminance included in the video signal, and the audio signal processing unit 25 processes the audio included in the audio signal. And at least one parameter of at least one acoustic parameter of volume and sound quality is processed. For this reason, the sensibility information transmitted from the transmission side is reflected in the video / audio signal in various forms, and the abstract concept can be expressed as a processed video / audio signal.
[0063]
Further, a test video / audio signal is generated on the display unit 31 by the test video / audio signal generation unit 35, and a questionnaire item related to the test video / audio signal is generated by the questionnaire item creation unit 33. The answers to the questionnaire items are input by the answer input unit 41, and the conversion coefficient generation unit 37 generates a conversion coefficient (personal profile) corresponding to each individual viewer. For this reason, the sensitivity information transmitted from the sensitivity information transmitting device 3 on the transmission side can be harmonized with the sensitivity of the individual viewer.
[0064]
(Operation of Kansei Information Transmitter)
Next, the operation of the sensibility information transmitting device 3 will be described with reference to the flowchart shown in FIG. 2 (see FIG. 1 as appropriate).
First, it is determined whether the signal input to the acquisition unit 7 of the sensibility information transmitting device 3 is a biological measurement signal (S1). If it is determined that the input signal is a biological measurement signal (S1, Yes), the biological measurement means 7a of the acquisition unit 7 performs signal processing and outputs the signal to the analysis encoding unit 9 ( S2). When the biological measurement signal subjected to the signal processing is input to the analysis encoding unit 9, the physiological information conversion means 9a converts it into sensitivity information and outputs it to the associated transmission unit 11 (S3).
[0065]
When it is not determined that the signal input to the acquisition unit 7 is a biological measurement signal (S1, No), it is determined whether the signal input to the acquisition unit 7 is a video signal (S4). When it is determined that the input signal is a video signal (S4, Yes), the video signal processing unit 7b of the acquisition unit 7 performs signal processing and outputs the signal to the analysis encoding unit 9 ( S5). When the video signal subjected to the signal processing is input to the analysis encoding unit 9, it is converted into sensitivity information by the color information conversion means 9b and output to the associated transmission unit 11 (S6).
[0066]
Furthermore, when it is not determined that the signal input to the acquisition unit 7 is a video signal (S4, No), it is determined whether the signal input to the acquisition unit 7 is an audio signal (S7). If it is not determined that the input signal is an audio signal (S7, No), an error is displayed on the display unit 15 (S8). If it is determined that the input signal is an audio signal (S7, Yes), the audio signal processing unit 7c of the acquisition unit 7 performs signal processing and outputs the signal to the analysis encoding unit 9 ( S9). When the audio signal subjected to the signal processing is input to the analysis encoding unit 9, it is converted into sensitivity information by the sound quality / volume information conversion means 9c and output to the associated transmission unit 11 (S10).
[0067]
Thereafter, it is determined whether or not there is a signal to be encoded in the acquisition unit 7 of the sensitivity information transmitting apparatus 3 (S11). When it is not determined that there is no signal to be encoded (when there is a signal to be encoded) (S11, No), the process returns to S1, and when it is determined that there is no signal to be encoded (S11, Yes), The associated transmission unit 11 associates the video / audio signal with the sensitivity information, and transmits it as a broadcast wave signal or a communication signal (S12).
[0068]
(Operation of Kansei Information Reproducing Device)
Next, the operation of the sensitivity information reproduction device 5 will be described with reference to the flowchart shown in FIG.
First, the user (viewer) of the sensibility information reproduction device 5 views the test video / audio signal or displays a message on the display unit 31 (S21). When the user (viewer) of the sensibility information reproduction device 5 views the test video / audio signal, the test video / audio signal is generated by the test video / audio signal generation unit 35 when judged by the sensibility information reproduction device 5 (Yes in S21). Is generated (S22).
[0069]
Further, a questionnaire item corresponding to the test video / audio signal generated by the test video / audio signal generating unit 35 is generated by the questionnaire item creating unit 33 (S23). Then, the test video / audio signal and the questionnaire items are displayed on the display unit 31 (S24). Thereafter, the system waits until an answer is input from the viewer who is viewing the test video / audio signal and the questionnaire item output to the display unit 31 (S25, No), and determines that the answer has been input (S25). , Yes), the factor analysis standard data stored in the factor analysis standard data storage unit 39 is referred to by the conversion coefficient generation unit 37, a conversion coefficient is generated, and is output to the sensitivity information decoding unit 19 (S26). ).
[0070]
  In S21, when the user (viewer) of the sensibility information reproduction device 5 views the test video / audio signal, if the determination is not made by the sensibility information reproduction device 5 (S21, No), the reception separation unit 17 modulates the sensitivity information and the modulation information. It is determined whether the video / audio signal has been received (S27). It waits until it is determined that both have been received (S27, No), and when it is determined that both the sensitivity information and the modulated video / audio signal have been received (S27, Yes), it is received by the reception separation unit 17. It is determined whether or not the information is sentimental information. When it is determined that it is not sensitivity information (S28, No), it is regarded as a modulated video / audio signal, demodulated by the video / audio signal demodulator 21, and demodulated demodulated video / audio signal is displayed as video.signalThe data is output to the processing unit 23, the audio signal processing unit 25, and the video / audio signal storage unit 27 (S29).
[0071]
  If it is determined that the information is sensitivity information (S28, Yes), the sensitivity information decoding unit 19 decodes the sensitivity information to generate a control signal.signalThe data is output to the processing unit 23, the audio signal processing unit 25, the video / audio signal storage unit 27, and the reproduction control unit 29 (S30).
[0072]
  Then, videovoiceIn the signal storage unit 27, the demodulated video / audio signal is stored as a stored video / audio signal (S31), and in the video signal processing unit 23 and the audio signal processing unit 25, the video signal and the audio signal are stored in the conversion coefficient generation unit 37. The personal profile is referred to and the processing is performed (S32). Then, the processed video / audio signal and the stored video / audio signal are appropriately switched by the control of the reproduction control unit 29 and displayed on the display unit 31 (S33). Finally, a message is displayed on the display unit 31 as to whether or not the operation ends for the user (viewer) of the sensibility information reproduction device 5 (S34), and if it is not determined that the operation is ended (S34, No), S21 If it is determined that the operation has ended (S34, Yes), the sensitivity information reproduction device 5 is stopped.
[0073]
(About the expression space of sensitivity information)
Here, with reference to FIG. 4, the expression space of sensitivity information will be described.
In the sensitivity information expression space shown in FIG. 4, an axis indicating “emotional” is provided as the first factor axis, and an axis indicating “powerful feeling” is provided as the second factor axis. As shown in FIG. 4, the sensitivity information transmitted from the sensitivity information transmitting device 3 is indicated by black dots (sensitivity information a, sensitivity information b), and the factor loading of pre-registered adjectives is a white dot. It is shown in
[0074]
That is, the sensitivity information represented in such an expression space is transmitted as an abstract concept from the sensitivity information transmission device 3 on the transmission side to the sensitivity information reproduction device 5 on the reception side.
[0075]
As mentioned above, although this invention was demonstrated based on one Embodiment, this invention is not limited to this.
It can also be regarded as a sensitivity information transmission method (including a sensitivity information encoding method), which is regarded as a series of operations of the components of the sensitivity information transmission device 3 and the sensitivity information reproduction device 5, and a sensitivity information reproduction method. It is also possible to regard each configuration as a sensitivity information transmission program (including a sensitivity information encoding program) described in a general computer language, or a sensitivity information reproduction program. In these cases, the same effect as the sensitivity information transmitting device 3 and the sensitivity information reproducing device 5 can be obtained.
[0076]
【The invention's effect】
  Claim 1RecordAccording to the invention described,Sensitivity information and at least one analysis target signal of a video signal and an audio signal are received, the sensitivity information is decoded, and a control signal for processing the analysis target signal is generated based on the decoded sensitivity information Is done. Based on this control signal, the processed video / audio signal and the stored video / audio signal are output and displayed. That is, it is possible to output and display the video / audio signal processed based on the sensitivity information (the video / audio signal transmitted from the transmission side is changed). Further, a test video / audio signal is generated by the video / audio signal generating means, and a questionnaire item relating to the test video / audio signal is generated by the questionnaire item generating means. Since the conversion coefficient is set for the individual viewer according to the answer to the questionnaire, the sensitivity information transmitted from the transmission side can be harmonized with the sensitivity of the individual viewer.
[0077]
  Claim2According to the described invention,Since the sensitivity information decoding means decodes the sensitivity information so as to adapt to each viewer based on the conversion coefficient, the video / audio signal processed based on this sensitivity information adapts to the viewer's individual sensitivity and preference. can do.
[Brief description of the drawings]
FIG. 1 is a block diagram of a sensitivity information transmission reproduction system according to an embodiment of the present invention.
FIG. 2 is a flowchart for explaining the operation of the sentiment information transmitting apparatus shown in FIG.
FIG. 3 is a flowchart for explaining the operation of the sensitivity information reproducing apparatus shown in FIG. 1;
FIG. 4 is an explanatory diagram for explaining an expression space for sensitivity information.
[Explanation of symbols]
1 Sensitive information transmission reproduction system
3 Kansei information transmitter
5 Kansei information reproduction device
7 Acquisition Department
7a Biological measurement means
7b Video signal processing means
7c Audio signal processing means
9 Analysis coding part
9a Physiological information conversion means
9b Color information conversion means
9c Sound quality volume information conversion means
11 Transmitter with association
17 Reception separation unit
19 Sensitivity information decoding unit
21 Video / audio signal demodulator
23 Video signal processing section
25 Audio signal processing section
27 Video / Audio Signal Storage Unit
29 Playback control unit
31 Display section
33 Survey Item Creation Department
35 Test video / audio signal generator
37 Conversion coefficient generator
39 Factor Analysis Standard Data Storage Unit
41 Answer input section

Claims (2)

映像信号、音声信号の少なくとも１つの信号を分析対象信号として、分析対象となる分析対象信号または分析対象に関する情報である分析対象情報を、知覚または感覚の程度を表す感性情報に符号化する感性情報符号化装置によって、当該分析対象信号を感性情報に符号化後、送信する感性情報送信装置によって送信された感性情報と、前記分析対象信号とを受信して、当該信号を当該感性情報に基づいて再現する感性情報再現装置であって、Sensitivity information that encodes at least one of a video signal and an audio signal as an analysis target signal, and analyzes the analysis target signal to be analyzed or analysis target information that is information about the analysis target into sensitivity information representing the degree of perception or feeling. The encoding device receives the sensitivity information transmitted by the sensitivity information transmitting device that transmits the analysis target signal after encoding the analysis target signal into the sensitivity information, and the analysis target signal, and receives the signal based on the sensitivity information. A sensibility information reproduction device to reproduce,
前記感性情報と、映像信号、音声信号の少なくとも１つの分析対象信号とを受信する受信手段と、  Receiving means for receiving the sensitivity information and at least one analysis target signal of a video signal and an audio signal;
前記感性情報を復号化し、前記分析対象信号を加工するための制御信号を生成する感性情報復号化手段と、  Kansei information decoding means for decoding the sensitivity information and generating a control signal for processing the analysis target signal;
前記分析対象信号を復調して復調映像音声信号とする映像音声信号復調手段と、  A video / audio signal demodulating means for demodulating the analysis target signal to obtain a demodulated video / audio signal;
前記制御信号に基づいて前記復調映像音声信号を加工して加工映像音声信号とする映像音声信号加工手段と、  Video and audio signal processing means for processing the demodulated video and audio signal based on the control signal to obtain a processed video and audio signal;
前記復調映像音声信号を蓄積映像音声信号として蓄積する映像音声信号蓄積手段と、  Video and audio signal storage means for storing the demodulated video and audio signal as an accumulated video and audio signal;
前記制御信号に基づいて前記映像音声信号蓄積手段に蓄積されている蓄積映像音声信号の再生を制御する再生制御手段と、  Reproduction control means for controlling reproduction of the stored video / audio signal stored in the video / audio signal storage means based on the control signal;
前記加工映像音声信号と前記蓄積映像音声信号とを前記制御信号に基づいて出力表示する出力表示手段と、  Output display means for outputting and displaying the processed video and audio signals and the stored video and audio signals based on the control signals;
前記再生制御手段によって再生が制御される前記蓄積映像音声信号の中から映像音声信号のサンプルとして、テスト映像音声信号を前記出力表示手段に発生させるテスト映像音声信号発生手段と、  A test video / audio signal generating means for generating a test video / audio signal on the output display means as a sample of the video / audio signal from the stored video / audio signals whose reproduction is controlled by the reproduction control means;
このテスト映像音声信号発生手段によって発生されたテスト映像音声信号に関するアンケート項目を作成するアンケート項目作成手段と、を備え、  Questionnaire item creating means for creating a questionnaire item related to the test video and audio signal generated by the test video and audio signal generating means,
前記アンケート項目作成手段で作成されたアンケート項目を参照して、前記感性情報復号化手段が前記感性情報を復号する際に供される変換係数を、前記テスト映像音声信号の視聴者毎に設定することを特徴とする感性情報再現装置。  With reference to the questionnaire item created by the questionnaire item creation means, a conversion coefficient provided when the sensitivity information decoding means decodes the sensitivity information is set for each viewer of the test video / audio signal. Kansei information reproduction device characterized by that. 前記感性情報復号化手段は、前記変換係数に基づき、前記視聴者それぞれに適応するように前記感性情報を復号化することを特徴とする請求項１に記載の感性情報再現装置。The sensitivity information reproducing apparatus according to claim 1, wherein the sensitivity information decoding unit decodes the sensitivity information so as to be adapted to each of the viewers based on the conversion coefficient.
JP2002127739A 2002-04-30 2002-04-30 Kansei information reproduction device Expired - Fee Related JP4033384B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002127739A JP4033384B2 (en) 2002-04-30 2002-04-30 Kansei information reproduction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002127739A JP4033384B2 (en) 2002-04-30 2002-04-30 Kansei information reproduction device

Publications (2)

Publication Number Publication Date
JP2003324696A JP2003324696A (en) 2003-11-14
JP4033384B2 true JP4033384B2 (en) 2008-01-16

Family

ID=29541710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002127739A Expired - Fee Related JP4033384B2 (en) 2002-04-30 2002-04-30 Kansei information reproduction device

Country Status (1)

Country Link
JP (1) JP4033384B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314609B1 (en) * 2007-01-17 2013-10-07 엘지전자 주식회사 method for transmitting and receiving sentimental information and apparatus thereof

Also Published As

Publication number Publication date
JP2003324696A (en) 2003-11-14

Similar Documents

Publication Publication Date Title
JP4052556B2 (en) External device-linked content generation device, method and program thereof
CN101473653B (en) Fingerprint, apparatus, method for identifying and synchronizing video
US11678014B2 (en) Creative intent scalability via physiological monitoring
US20150104150A1 (en) Recording apparatus, reproducing apparatus, recording and reproducing apparatus, recording method, reproducing method, recording and reproducing method, and record medium
WO2004019126A3 (en) Method and apparatus for extending signal range
KR970064223A (en) TV receiver and additional information transmission and reception method
WO2014141413A1 (en) Information processing device, output method, and program
WO2006022071A1 (en) Video display and video displaying method
JP4595998B2 (en) Content reproduction device, content reception device, content evaluation collection and analysis method, content evaluation collection and analysis device, content evaluation total management method, and content evaluation total management device
JP4033384B2 (en) Kansei information reproduction device
JP2005124169A (en) Video image contents forming apparatus with balloon title, transmitting apparatus, reproducing apparatus, provisioning system, and data structure and record medium used therein
DE112021001487T5 (en) BITSTREAM GENERATION METHOD, ENCODING DEVICE AND DECODING DEVICE
JP2010124391A (en) Information processor, and method and program for setting function
JP5009638B2 (en) Similar video search apparatus and similar video search method
US10102867B2 (en) Television system, server apparatus, and television apparatus
JP2003324697A (en) Sensitivity information encoding method, sensitivity information encoder, sensitivity information encoding program, sensitivity information transmitting method, sensitivity information transmitter, sensitivity information transmitting program, sensitivity information reproducing method, sensitivity information reproducer, sensitivity information reproducing program
KR20140084463A (en) Apparatus and method for displaying image of narrator information and, server for editing video data
KR20140006424A (en) Method for embodiment sensible vibration based on sound source
JP2013097240A (en) Hearing-impaired person support device and operation method thereof
KR20050078894A (en) Caption presentation method and apparatus thereof
KR101056022B1 (en) Apparatus and method for data color conversion of digital broadcasting receiver
EP1538570A2 (en) Method for graphically displaying audio frequency component in digital broadcast receiver
JP4167346B2 (en) Hearing compensation method for digital broadcasting and receiver used therefor
JP4850123B2 (en) Image data processing device
Daly et al. Biosensors for landing creative intent

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees