JP5536092B2 - 実体験のように感じる効果を提供する方法及びシステム - Google Patents
実体験のように感じる効果を提供する方法及びシステム Download PDFInfo
- Publication number
- JP5536092B2 JP5536092B2 JP2011539124A JP2011539124A JP5536092B2 JP 5536092 B2 JP5536092 B2 JP 5536092B2 JP 2011539124 A JP2011539124 A JP 2011539124A JP 2011539124 A JP2011539124 A JP 2011539124A JP 5536092 B2 JP5536092 B2 JP 5536092B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- effect
- data
- subject
- feels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
この環境では、「識別する“identifying”」とは、多数の主体のそれぞれを認識することであり、すなわち、ディスプレイ上で画像の環境において、たとえば5人の異なる主体が存在することを検出することである。代替的に、それら主体に、たとえば“Bob”、“Mary”等といった一般に予め決定された識別子である固有の識別子を関連付けすることを含む。効果は、識別されたフィードバックの提供が容易であり、本質的に、その注視焦点が推定される主体のうちの特定の1人にフォードバックが向けられるのを可能にする。
Claims (13)
- 実体験のように感じる効果を提供する方法であって、
少なくとも1つの画像を表すデータを受信するステップと、
ディスプレイに表示される前記少なくとも1つの画像を見ることができる複数のセクタのそれぞれについて少なくとも1つの主体を識別するステップと、
前記少なくとも1つの画像を分析して、前記少なくとも1つの画像において識別される少なくとも1つのオブジェクトを探すステップと、
前記少なくとも1つの画像を観察することができる少なくとも1つの主体の注視焦点を推定するステップと、
前記画像内に前記注視焦点を有する少なくとも1つの主体が存在する少なくとも1つのセクタに実体験のように感じる効果が向けられるように、該実体験のように感じる効果を提供するシステムへ、前記少なくとも1つの画像における前記少なくとも1つのオブジェクトの位置に対する前記注視焦点の相対的な位置に依存する少なくとも1つの信号を供給するステップと、
を含むことを特徴とする方法。 - 前記少なくとも1つの画像を観察することができる複数の主体のそれぞれの注視焦点を推定するステップと、
前記複数の主体のそれぞれの注視焦点に依存して、前記実体験のように感じる効果を提供するシステムへの前記少なくとも1つの信号を適合させるステップと、
を含む請求項1記載の方法。 - 前記システムは、複数の出力位置のそれぞれで個別の実体験のように感じる効果を提供し、
当該方法は、前記複数の出力位置のそれぞれに関して前記複数の主体のそれぞれの位置を決定するステップを更に含む、
請求項2記載の方法。 - 前記少なくとも1つの信号は、触覚によるフィードバックを提供する少なくとも1つの装置を含む、前記実体験のように感じる効果を提供するシステムに供給される、
請求項1記載の方法。 - 前記複数の主体のそれぞれを識別するステップを含む、
請求項1記載の方法。 - 前記複数の主体のそれぞれを識別するステップは、主体のそれぞれに予め決定された識別子を関連付けするステップを含み、
前記実体験のように感じる効果を提供するシステムへの前記少なくとも1つの信号は、更に前記予め決定された識別子に関連付けられた設定に依存して供給される、
請求項5記載の方法。 - 前記注視焦点は時間とともに追跡され、
前記実体験のように感じる効果を提供するシステムへの前記少なくとも1つの信号は、前記少なくとも1つの画像における前記少なくとも1つのオブジェクトの位置に対する前記注視焦点の相対的な位置に基づく信号を平滑化することで供給される、
請求項1記載の方法。 - 前記受信するステップで受信される前記データは、動画の系列を表し、
前記受信されるデータは、前記動画の系列における少なくとも1つのオブジェクトを識別するデータと共に受信される、
請求項1記載の方法。 - 前記少なくとも1つのオブジェクトを識別するデータは、前記動画の系列のうちの最初の画像におけるオブジェクトの位置を識別するデータと関連付けられる、
請求項8記載の方法。 - 前記少なくとも1つのオブジェクトの少なくとも1つの特性を決定するステップを更に含み、
前記実体験のように感じる効果を提供するシステムへ前記少なくとも1つの信号を前記少なくとも1つの画像における前記少なくとも1つのオブジェクトの位置に対する前記注視焦点の相対的な位置に依存して供給する前記ステップは、前記少なくとも1つのオブジェクトの前記少なくとも1つの特性に関連付けられた効果のデータに基づいて前記少なくとも1つの信号を適合させるステップを含む、
請求項1記載の方法。 - 前記少なくとも1つの画像を表すデータに関連して前記少なくとも1つの画像における少なくとも1つのオブジェクトを識別するデータを受信するステップと、
前記少なくとも1つのオブジェクトを識別するデータを使用して、前記少なくとも1つのオブジェクトの特性を決定するステップとを含む、
請求項10記載の方法。 - 実体験のように感じる効果の提供を制御するシステムであって、
少なくとも1つの画像を表すデータを受信する第一インタフェースと、
ディスプレイに表示される前記少なくとも1つの画像を見ることができる複数のセクタの夫々について少なくとも1つの主体を識別する識別手段と、
前記少なくとも1つの画像を分析して、前記少なくとも1つの画像において識別される少なくとも1つのオブジェクトを探すデータ処理手段と、
前記少なくとも1つの画像を観察することができる少なくとも1つの主体の注視焦点を推定する推定手段と、
前記少なくとも1つの主体に実体験のように感じる効果を提供するシステムへ少なくとも1つの信号を供給する第二インタフェースとを備え、
当該実体験のように感じる効果の提供を制御するシステムは、前記画像内に前記注視焦点を有する少なくとも1つの主体が存在する少なくとも1つのセクタに前記実体験のように感じる効果が向けられるように、前記少なくとも1つの画像における前記少なくとも1つのオブジェクトの位置に対する前記注視焦点の相対的な位置に依存して前記少なくとも1つの信号を供給する、
ことを特徴とする実体験のように感じる効果の提供を制御するシステム。 - コンピュータに、請求項1乃至11の何れか記載の方法を実行させるための命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08171041.0 | 2008-12-09 | ||
EP08171041 | 2008-12-09 | ||
PCT/IB2009/055133 WO2010067221A1 (en) | 2008-12-09 | 2009-11-18 | Method and system for providing immersive effects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012511749A JP2012511749A (ja) | 2012-05-24 |
JP5536092B2 true JP5536092B2 (ja) | 2014-07-02 |
Family
ID=42124407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011539124A Expired - Fee Related JP5536092B2 (ja) | 2008-12-09 | 2009-11-18 | 実体験のように感じる効果を提供する方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9411414B2 (ja) |
EP (1) | EP2376998B1 (ja) |
JP (1) | JP5536092B2 (ja) |
KR (1) | KR101618590B1 (ja) |
CN (1) | CN102246119B (ja) |
WO (1) | WO2010067221A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
US8571550B2 (en) | 2009-02-09 | 2013-10-29 | Qualcomm Incorporated | Managing access control to closed subscriber groups |
US20110237250A1 (en) * | 2009-06-25 | 2011-09-29 | Qualcomm Incorporated | Management of allowed csg list and vplmn-autonomous csg roaming |
US9225969B2 (en) | 2013-02-11 | 2015-12-29 | EchoPixel, Inc. | Graphical system with enhanced stereopsis |
US9833697B2 (en) * | 2013-03-11 | 2017-12-05 | Immersion Corporation | Haptic sensations as a function of eye gaze |
US20160187976A1 (en) * | 2014-12-29 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptic effects based on eye tracking |
JP6525150B2 (ja) | 2015-08-31 | 2019-06-05 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | テレプレゼンス・ロボットに用いる制御シグナルを発生させるための方法、テレプレゼンス・システムおよびコンピュータ・プログラム |
EP3179336A1 (en) * | 2015-12-07 | 2017-06-14 | Thomson Licensing | Method and device for rendering haptic effects in an immersive content |
KR102573933B1 (ko) * | 2016-10-04 | 2023-09-05 | 한국전자통신연구원 | 기계 학습 기반의 실감 미디어 저작 방법 및 장치 |
KR102009145B1 (ko) * | 2016-11-17 | 2019-08-09 | 한국전자통신연구원 | 미디어 객체 기반의 저작 방법 및 장치 |
US10324531B2 (en) * | 2016-12-27 | 2019-06-18 | Immersion Corporation | Haptic feedback using a field of view |
JP7428134B2 (ja) * | 2018-10-29 | 2024-02-06 | ソニーグループ株式会社 | 情報処理装置及び情報処理装置、並びに情報処理システム |
WO2021119910A1 (zh) * | 2019-12-16 | 2021-06-24 | 瑞声声学科技(深圳)有限公司 | 一种触觉反馈分享方法、装置及系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5382970A (en) * | 1991-07-19 | 1995-01-17 | Kiefl; John B. | Television viewer monitoring system including portable data meter for each viewer |
JPH11327425A (ja) * | 1998-05-19 | 1999-11-26 | Techno Works:Kk | 画像処理による注視点検出手段を利用したバーチャルリアリティの実現方式 |
US7921036B1 (en) * | 2002-04-30 | 2011-04-05 | Videomining Corporation | Method and system for dynamically targeting content based on automatic demographics and behavior analysis |
US7050078B2 (en) * | 2002-12-19 | 2006-05-23 | Accenture Global Services Gmbh | Arbitrary object tracking augmented reality applications |
JP4328136B2 (ja) | 2003-06-19 | 2009-09-09 | 国立大学法人 奈良先端科学技術大学院大学 | 関心度推定装置 |
US20050285844A1 (en) * | 2004-06-29 | 2005-12-29 | Ge Medical Systems Information Technologies, Inc. | 3D display system and method |
JP4061379B2 (ja) * | 2004-11-29 | 2008-03-19 | 国立大学法人広島大学 | 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体 |
WO2006100645A2 (en) * | 2005-03-24 | 2006-09-28 | Koninklijke Philips Electronics, N.V. | Immersive reading experience using eye tracking |
JP4677633B2 (ja) * | 2005-09-09 | 2011-04-27 | 学校法人東海大学 | 匂い提示システム |
WO2007128057A1 (en) * | 2006-05-04 | 2007-11-15 | National Ict Australia Limited | An electronic media system |
JP4231884B2 (ja) | 2006-09-27 | 2009-03-04 | 株式会社デンソーアイティーラボラトリ | 注視対象物検出装置および注視対象物検出方法 |
-
2009
- 2009-11-18 KR KR1020117015667A patent/KR101618590B1/ko not_active IP Right Cessation
- 2009-11-18 EP EP09764070.0A patent/EP2376998B1/en not_active Not-in-force
- 2009-11-18 WO PCT/IB2009/055133 patent/WO2010067221A1/en active Application Filing
- 2009-11-18 JP JP2011539124A patent/JP5536092B2/ja not_active Expired - Fee Related
- 2009-11-18 US US13/131,607 patent/US9411414B2/en not_active Expired - Fee Related
- 2009-11-18 CN CN200980149423.7A patent/CN102246119B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP2376998B1 (en) | 2015-11-04 |
US9411414B2 (en) | 2016-08-09 |
EP2376998A1 (en) | 2011-10-19 |
JP2012511749A (ja) | 2012-05-24 |
KR20110102427A (ko) | 2011-09-16 |
US20110227824A1 (en) | 2011-09-22 |
CN102246119B (zh) | 2016-01-20 |
KR101618590B1 (ko) | 2016-05-09 |
WO2010067221A1 (en) | 2010-06-17 |
CN102246119A (zh) | 2011-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5536092B2 (ja) | 実体験のように感じる効果を提供する方法及びシステム | |
US9848244B2 (en) | Method of providing user specific interaction using device and digital television (DTV), the DTV, and the user device | |
JP6773190B2 (ja) | 情報処理システム、制御方法、および記憶媒体 | |
US8201080B2 (en) | Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content | |
US20120072936A1 (en) | Automatic Customized Advertisement Generation System | |
CN105247879A (zh) | 客户机设备、控制方法、系统和程序 | |
Kim et al. | Saliency-driven real-time video-to-tactile translation | |
KR101507242B1 (ko) | 영상 분석을 통하여 모션 햅틱 효과를 제공하는 장치 및 방법 | |
Lin et al. | Progress and opportunities in modelling just-noticeable difference (JND) for multimedia | |
Covaci et al. | How do we experience crossmodal correspondent mulsemedia content? | |
KR20160135552A (ko) | 가상 현실 장치 및 피드백 장치, 실감형 서비스 제공 시스템 및 방법 | |
Fryer et al. | Visual impairment and presence: measuring the effect of audio description | |
US20170188066A1 (en) | Technologies for immersive user sensory experience sharing | |
WO2018135334A1 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
Yang et al. | Audio augmented reality: A systematic review of technologies, applications, and future research directions | |
Leroy et al. | Second screen interaction: an approach to infer tv watcher's interest using 3d head pose estimation | |
Zhang et al. | Automatic generation of spatial tactile effects by analyzing cross-modality features of a video | |
WO2021124680A1 (ja) | 情報処理装置及び情報処理方法 | |
Rummukainen et al. | Influence of visual content on the perceived audio quality in virtual reality | |
CN106973282B (zh) | 一种全景视频沉浸感增强方法和系统 | |
US20240104863A1 (en) | Contextual presentation of extended reality content | |
Salido et al. | Sainet: An image processing app for assistance of visually impaired people in social interaction scenarios | |
CN113825018B (zh) | 一种基于图像处理的视频处理管理平台 | |
Mesfin et al. | Inverse and transitivity of cross-modal correspondence in mulsemedia | |
WO2018168444A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140325 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5536092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |