JP4971413B2 - 視聴覚を結合した動作認識システムおよびその認識方法 - Google Patents
視聴覚を結合した動作認識システムおよびその認識方法 Download PDFInfo
- Publication number
- JP4971413B2 JP4971413B2 JP2009281646A JP2009281646A JP4971413B2 JP 4971413 B2 JP4971413 B2 JP 4971413B2 JP 2009281646 A JP2009281646 A JP 2009281646A JP 2009281646 A JP2009281646 A JP 2009281646A JP 4971413 B2 JP4971413 B2 JP 4971413B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- audiovisual
- audio
- feature
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Description
従来技術において、認識技術は、画像認識と音声認識とを含む。画像認識技術については、認識ホスト2内に複数種の画像サンプルが格納してあり、撮影モジュール11がユーザのジェスチャを撮影してジェスチャ画像を形成し、ジェスチャ画像を画像サンプルと突合せ、ジェスチャ画像に対応するコマンドを探し出す。さらに、ジェスチャ画像全体について画像特徴取り込み作業を行い、特徴値の照合技術によりジェスチャ画像の認識率を高めているものもある。
12 マイク
3 認識ホスト
31 データ解析モジュール
32 データベース
33 計算モジュール
4 視聴覚関係モジュール
41 特徴取り込みパラメータ
42 視聴覚関係パラメータ
M1 ジェスチャ画像
M2 画像特徴配列
M3 画像フレームデータ
M4 画像フレームステータス組み合わせ
M5 画像フレームステータスグループ
MT1 トレーニング画像
MT2 画像トレーニング配列
MT3 トレーニング画像フレーム
MT4 画像フレームトレーニング組み合わせ
MT5 画像フレームトレーニンググループ
V1 音声データ
V2 音声特徴配列
V3 音声フレームデータ
V4 音声フレームステータス組み合わせ
V5 音声フレームステータスグループ
VT1 トレーニング音声
VT2 音声トレーニング配列
VT3 トレーニング音声フレーム
VT4 音声フレームトレーニング組み合わせ
VT5 音声フレームトレーニンググループ
S1 視聴覚ステータスパラメータ
S2 認識確率
S3 視聴覚認識確率値
S4 視聴覚サブステータスパラメータ
T1 標的パラメータ
Claims (9)
- 各視聴覚関係モジュールに特徴取り込みパラメータおよび視聴覚関係パラメータが含まれる、複数個の視聴覚関係モジュールを格納するデータベースと、
相互に対応するジェスチャ画像および音声データを各該特徴取り込みパラメータに導入し、複数個の画像特徴配列および複数個の音声特徴配列を取得し、同じ該視聴覚関係モジュールに対応することを条件に、各該画像特徴配列および各該音声特徴配列を各該視聴覚関係パラメータに導入し、複数個の視聴覚ステータスパラメータを計算するデータ解析モジュールと、
該画像特徴配列、該音声特徴配列および該視聴覚ステータスパラメータを利用して、各視聴覚関係モジュールに対応する認識確率を計算し、該認識確率から標的パラメータを取り出す計算モジュールと、
を備え、
該ジェスチャ画像は、画像特徴値を含んだ画像フレームデータを複数含み、
該音声データは、音声特徴値を含んだ音声フレームデータを複数含み、
該データ解析モジュールが、
該画像特徴値を利用して該ジェスチャ画像が少なくとも1つの重複画像データを含むことを判定し、該重複画像データを取り込んで各該画像特徴配列を形成し、
該音声特徴値を利用して該音声データが少なくとも1つの重複音声データを含むことを判定し、該重複音声データを取り込んで各該音声特徴配列を形成することを特徴とする、
視聴覚を結合した動作認識システム。 - 各該画像特徴配列が、複数個の画像フレームステータス組み合わせを形成する複数個の画像フレームデータを含み、各該音声特徴配列が、複数個の音声フレームステータス組み合わせを形成する複数個の音声フレームデータを含み、該データ解析モジュールが、各該画像フレームステータス組み合わせおよび各該音声フレームステータス組み合わせを同じ該視聴覚関係モジュールに対応する該視聴覚関係パラメータに導入し、複数個の視聴覚サブステータスパラメータを計算し、その中から1つの最大数値の該視聴覚サブステータスパラメータを選び、該視聴覚関係モジュールが対応する該視聴覚ステータスパラメータとする請求項1に記載の視聴覚を結合した動作認識システム。
- 該データ解析モジュールが、隠れマルコフモデルを利用して該音声特徴配列と該画像特徴配列をトレーニングし、該音声フレームステータス組み合わせと該画像フレームステータス組み合わせを形成する請求項2に記載の視聴覚を結合した動作認識システム。
- 各該画像特徴配列が、複数個の画像フレームステータスグループを含み、各該音声特徴配列が、複数個の音声フレームステータスグループを含み、同じ該視聴覚関係モジュールに対応することを条件に、該特徴取り込みパラメータが、各該画像フレームステータスグループが各該音声フレームステータスグループに対応する確率パラメータ、および各該音声フレームステータスグループが各該画像フレームステータスグループに対応する確率パラメータを記録する請求項2に記載の視聴覚を結合した動作認識システム。
- 相互に対応するジェスチャ画像および音声データを取得するステップと、
各視聴覚関係モジュールが特徴取り込みパラメータおよび視聴覚関係パラメータを含む、複数個の視聴覚関係モジュールを提供するステップと、
複数個の画像特徴配列および複数個の音声特徴配列を取得し、該ジェスチャ画像および該音声データを該特徴取り込みパラメータに個別に導入し、該画像特徴配列および該音声特徴配列を計算するステップと、
複数個の視聴覚ステータスパラメータを計算し、同じ該視聴覚関係モジュールに対応することを条件に、各該画像特徴配列および各該音声特徴配列を各該視聴覚関係パラメータに導入し、該視聴覚ステータスパラメータに取得するステップと、
複数個の認識確率を計算し、該画像特徴配列、該音声特徴配列および該視聴覚ステータスパラメータを利用して、各視聴覚関係モジュールに対応する認識確率を計算するステップと、
該認識確率から標的パラメータを取り出すステップと、
を含み、
該ジェスチャ画像は、画像特徴値を含んだ画像フレームデータを複数含み、
該音声データは、音声特徴値を含んだ音声フレームデータを複数含み、
該画像特徴配列および該音声特徴配列を計算するステップは、
該画像特徴値を利用して該ジェスチャ画像が少なくとも1つの重複画像データを含むことを判定し、該重複画像データを取り込んで各該画像特徴配列を形成し、
該音声特徴値を利用して該音声データが少なくとも1つの重複音声データを含むことを判定し、該重複音声データを取り込んで各該音声特徴配列を形成することを特徴とする、
視聴覚を結合した動作認識方法。 - 各該画像特徴配列が、複数個の画像フレームステータス組み合わせを形成する複数個の画像フレームデータを含み、各該音声特徴配列が、複数個の音声フレームステータス組み合わせを形成する複数個の音声フレームデータを含み、複数個の視聴覚ステータスパラメータを計算する該ステップは、
複数個の視聴覚サブステータスパラメータを取得し、各該画像フレームステータス組み合わせおよび各該音声フレームステータス組み合わせを同じ該視聴覚関係モジュールに対応する該視聴覚関係パラメータに導入し、該視聴覚サブステータスパラメータを計算するステップと、
該視聴覚サブステータスパラメータから1つ選び、該視聴覚関係モジュールが対応する該視聴覚ステータスパラメータとし、該視聴覚ステータスパラメータが、該視聴覚サブステータスパラメータにおける、最大数値の該視聴覚サブステータスパラメータとするステップと、
を含む請求項5に記載の視聴覚を結合した動作認識方法。 - 該音声フレームステータス組み合わせおよび該画像フレームステータス組み合わせが、隠れマルコフモデルにより、トレーニングで形成される請求項6に記載の視聴覚を結合した動作認識方法。
- 各該画像特徴配列が複数個の画像フレームステータスグループを含み、各該音声特徴配列が複数個の音声フレームステータスグループを含み、各特徴取り込みパラメータが、各画像フレームステータスグループが各該音声フレームステータスグループに対応する確率パラメータを記録する請求項6に記載の視聴覚を結合した動作認識方法。
- 該視聴覚関係モジュール確立方法が、
対応するトレーニング画像およびトレーニング音声を取得するステップと、
該トレーニング画像および該トレーニング音声を変換し、複数個の画像フレームデータを含む画像トレーニング配列および複数個の音声フレームデータを含む音声トレーニング配列を形成し、
複数種の分割方式を利用して該画像トレーニング配列および該音声トレーニング配列を個別に分割し、複数個の画像分割配列および複数個の音声分割配列を形成するステップと、
該画像分割配列および該音声分割配列の対応関係を推算し、該視聴覚関係モジュールに属する該視聴覚関係パラメータを生成するステップと、
該トレーニング画像および該トレーニング音声の特徴取り込みモードが該視聴覚関係モジュールである特徴取り込みパラメータを記録するステップと、
該特徴取り込みパラメータおよび該視聴覚関係パラメータを記録し、該視聴覚関係モジュールを形成するステップと、
を含む請求項5に記載の視聴覚を結合した動作認識方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW098138039A TWI423144B (zh) | 2009-11-10 | 2009-11-10 | Combined with the audio and video behavior identification system, identification methods and computer program products |
TW098138039 | 2009-11-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011103111A JP2011103111A (ja) | 2011-05-26 |
JP4971413B2 true JP4971413B2 (ja) | 2012-07-11 |
Family
ID=43973792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009281646A Active JP4971413B2 (ja) | 2009-11-10 | 2009-12-11 | 視聴覚を結合した動作認識システムおよびその認識方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8487867B2 (ja) |
JP (1) | JP4971413B2 (ja) |
TW (1) | TWI423144B (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6670970B1 (en) * | 1999-12-20 | 2003-12-30 | Apple Computer, Inc. | Graduated visual and manipulative translucency for windows |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
WO2011082332A1 (en) | 2009-12-31 | 2011-07-07 | Digimarc Corporation | Methods and arrangements employing sensor-equipped smart phones |
JP2011253374A (ja) * | 2010-06-02 | 2011-12-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US9129604B2 (en) * | 2010-11-16 | 2015-09-08 | Hewlett-Packard Development Company, L.P. | System and method for using information from intuitive multimodal interactions for media tagging |
CN103650032A (zh) * | 2011-06-15 | 2014-03-19 | 骨声通信有限(以色列)有限公司 | 用于检测语音的系统、设备和方法 |
US9142182B2 (en) * | 2011-10-07 | 2015-09-22 | Lg Electronics Inc. | Device and control method thereof |
JP5828552B2 (ja) * | 2011-12-22 | 2015-12-09 | 本田技研工業株式会社 | 物体分類装置、物体分類方法、物体認識装置及び物体認識方法 |
US9396758B2 (en) * | 2012-05-01 | 2016-07-19 | Wochit, Inc. | Semi-automatic generation of multimedia content |
US9524751B2 (en) * | 2012-05-01 | 2016-12-20 | Wochit, Inc. | Semi-automatic generation of multimedia content |
TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
KR101511995B1 (ko) | 2013-06-10 | 2015-04-14 | 네이버 주식회사 | 제스처 정보를 이용하여 서비스에 대한 사용자간 관계를 설정하는 방법 및 시스템 |
US20150199017A1 (en) * | 2014-01-10 | 2015-07-16 | Microsoft Corporation | Coordinated speech and gesture input |
US9553904B2 (en) | 2014-03-16 | 2017-01-24 | Wochit, Inc. | Automatic pre-processing of moderation tasks for moderator-assisted generation of video clips |
US9659219B2 (en) | 2015-02-18 | 2017-05-23 | Wochit Inc. | Computer-aided video production triggered by media availability |
CN106864368B (zh) * | 2015-12-11 | 2021-12-21 | 罗伯特·博世有限公司 | 应用于车辆的警示方法及系统 |
WO2018084576A1 (en) * | 2016-11-03 | 2018-05-11 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
CN110377145B (zh) * | 2018-04-13 | 2021-03-30 | 北京京东尚科信息技术有限公司 | 电子设备确定方法、系统、计算机系统和可读存储介质 |
CN108962216B (zh) * | 2018-06-12 | 2021-02-02 | 北京市商汤科技开发有限公司 | 一种说话视频的处理方法及装置、设备和存储介质 |
KR20200013162A (ko) | 2018-07-19 | 2020-02-06 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
TWI682325B (zh) * | 2018-11-20 | 2020-01-11 | 新唐科技股份有限公司 | 辨識系統及辨識方法 |
US11392659B2 (en) * | 2019-02-28 | 2022-07-19 | Adobe Inc. | Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs |
CN110176117B (zh) * | 2019-06-17 | 2023-05-19 | 广东翔翼科技信息有限公司 | 一种基于行为识别技术的监控装置及监控方法 |
CN112070027B (zh) * | 2020-09-09 | 2022-08-26 | 腾讯科技(深圳)有限公司 | 网络训练、动作识别方法、装置、设备及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2690027B2 (ja) * | 1994-10-05 | 1997-12-10 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | パターン認識方法及び装置 |
US7881936B2 (en) * | 1998-12-04 | 2011-02-01 | Tegic Communications, Inc. | Multimodal disambiguation of speech recognition |
JP2002182685A (ja) | 2000-12-12 | 2002-06-26 | Sony Corp | 認識装置および認識方法、学習装置および学習方法、並びに記録媒体 |
JP4294853B2 (ja) * | 2000-12-19 | 2009-07-15 | アルパイン株式会社 | 操作指示装置 |
US7165029B2 (en) * | 2002-05-09 | 2007-01-16 | Intel Corporation | Coupled hidden Markov model for audiovisual speech recognition |
WO2004027685A2 (en) * | 2002-09-19 | 2004-04-01 | The Penn State Research Foundation | Prosody based audio/visual co-analysis for co-verbal gesture recognition |
US7454342B2 (en) * | 2003-03-19 | 2008-11-18 | Intel Corporation | Coupled hidden Markov model (CHMM) for continuous audiovisual speech recognition |
US20050027530A1 (en) * | 2003-07-31 | 2005-02-03 | Tieyan Fu | Audio-visual speaker identification using coupled hidden markov models |
JP3848319B2 (ja) * | 2003-11-11 | 2006-11-22 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
GB0406512D0 (en) * | 2004-03-23 | 2004-04-28 | British Telecomm | Method and system for semantically segmenting scenes of a video sequence |
US20080111887A1 (en) * | 2006-11-13 | 2008-05-15 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
US8269834B2 (en) * | 2007-01-12 | 2012-09-18 | International Business Machines Corporation | Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream |
-
2009
- 2009-11-10 TW TW098138039A patent/TWI423144B/zh active
- 2009-12-09 US US12/634,148 patent/US8487867B2/en not_active Expired - Fee Related
- 2009-12-11 JP JP2009281646A patent/JP4971413B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US8487867B2 (en) | 2013-07-16 |
JP2011103111A (ja) | 2011-05-26 |
TW201117110A (en) | 2011-05-16 |
TWI423144B (zh) | 2014-01-11 |
US20110109539A1 (en) | 2011-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4971413B2 (ja) | 視聴覚を結合した動作認識システムおよびその認識方法 | |
TWI682325B (zh) | 辨識系統及辨識方法 | |
US20190341058A1 (en) | Joint neural network for speaker recognition | |
JP4462339B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
CN112053690B (zh) | 一种跨模态多特征融合的音视频语音识别方法及系统 | |
US8140458B2 (en) | Information processing apparatus, information processing method, and computer program | |
US20110224978A1 (en) | Information processing device, information processing method and program | |
KR102230667B1 (ko) | 오디오-비주얼 데이터에 기반한 화자 분리 방법 및 장치 | |
JP2001092974A (ja) | 話者認識方法及びその実行装置並びに音声発生確認方法及び装置 | |
US10964326B2 (en) | System and method for audio-visual speech recognition | |
CN111048113A (zh) | 声音方向定位处理方法、装置、系统、计算机设备及存储介质 | |
JP2017228224A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN102074232B (zh) | 结合影音的行为辨识系统及其辨识方法 | |
JP2011013731A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Guy et al. | Learning visual voice activity detection with an automatically annotated dataset | |
JP6540742B2 (ja) | 物体認識装置および物体認識方法 | |
JP2009042910A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
JP6916130B2 (ja) | 話者推定方法および話者推定装置 | |
Tamura et al. | A stream-weight optimization method for audio-visual speech recognition using multi-stream HMMs | |
Chen et al. | Automatic Lip-Reading with Hierarchical Pyramidal Convolution and Self-Attention for Image Sequences with No Word Boundaries. | |
CN116312512A (zh) | 面向多人场景的视听融合唤醒词识别方法及装置 | |
JP2015177490A (ja) | 映像音声処理システム、情報処理装置、映像音声処理方法、及び映像音声処理プログラム | |
CN114494930A (zh) | 语音与图像同步性衡量模型的训练方法及装置 | |
CN114466179A (zh) | 语音与图像同步性的衡量方法及装置 | |
CN114466178A (zh) | 语音与图像同步性的衡量方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120207 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120327 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120405 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4971413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |