JPWO2007086431A1 - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
JPWO2007086431A1
JPWO2007086431A1 JP2007555980A JP2007555980A JPWO2007086431A1 JP WO2007086431 A1 JPWO2007086431 A1 JP WO2007086431A1 JP 2007555980 A JP2007555980 A JP 2007555980A JP 2007555980 A JP2007555980 A JP 2007555980A JP WO2007086431 A1 JPWO2007086431 A1 JP WO2007086431A1
Authority
JP
Japan
Prior art keywords
video
unit
behavior
vehicle
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007555980A
Other languages
English (en)
Inventor
明宏 森本
明宏 森本
尚紀 井須
尚紀 井須
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2007086431A1 publication Critical patent/JPWO2007086431A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/641Multi-purpose receivers, e.g. for auxiliary information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/332Force measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/505Touch-screens; Virtual keyboard or keypads; Virtual buttons; Soft keys; Mouse touches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Abstract

乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供する。乗り物の挙動を検出する挙動検出部(101)と、挙動検出部(101)によって検出された挙動に基づいて背景映像を生成する背景映像生成部(102)と、映像を生成する映像生成部(103)と、挙動検出部(101)によって検出された挙動に基づいて映像生成部(103)が生成した映像を変形する映像変形部(104)と、背景映像生成部(102)が生成した背景映像と映像変形部が変形した映像を合成する合成部(105)と、合成部(105)が合成した合成映像を表示する表示部(106)とを備える。

Description

本発明は、映像表示装置に関し、より特定的には、乗り物の乗員に映像を提供するための映像表示装置に関する。
近年、各種情報の表示を行うディスプレイを搭載した乗り物が増えている。特に、自車位置を中心として地図を表示するナビゲーション装置用のディスプレイを搭載した乗り物が増えている。また、助手席、後部席用に、TV(Television)、VTR(Video Tape Recorder)、DVD(Digital Versatile Disk)、ムービー、ゲーム等の映像を表示するディスプレイを搭載した乗り物も増えている。
一方、自動車等の車内では、乗り物のエンジン、その他の駆動機構による振動、操舵走行中の道路地形、うねり、路面状況、縁石等乗り物外から自動車のシャーシが受ける振動、揺動、衝撃等による振動、更に、自動車の加速やブレーキによる振動が存在している。
このように乗り物に乗る等した場合、新しい運動環境に人間が置かれたときの実際の感覚情報パターンと、中枢神経内に蓄積されている感覚情報パターンとが異なるため、中枢神経が自分自身の位置や運動が把握できず混乱してしまうという感覚矛盾説(感覚混乱説、神経性不一致説)が知られている(例えば、非特許文献1参照)。この場合、中枢神経内の新しい感覚情報パターンの認識が起こるが、この適応過程において動揺病(乗り物酔い)が発症すると考えられている。例えば、自動車に乗って本を読む場合は、視線は固定している。これにより、視覚情報が自動車の運動による前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致しないため、乗り物酔いが発生するとされている。視覚情報と前庭情報の感覚混乱を避けるために、乗り物の中では、目を閉じているか、遠くの方を見るようにするとよいと言われている。また、ドライバーが乗客より酔いにくいのは、運転に伴う緊張と、乗り物の動きを予測して最も加速度変化の少ない頭の位置を能動的に取るためであると言われている。
このような動揺病対策として、乗り物の右左折、加減速および停止を表示することにより、運転手以外の乗員に乗り物の現在および次期動作を把握および予知させるようにした技術がある(例えば、特許文献1参照)。
また、後部座席の乗員の乗り物酔いを低減するために、ハンドル、ブレーキ、ウインカーからの操縦情報を受けて、「減速します」、「右に曲がります」等の音声を流したり、右折する場合は右方向の矢印を表示することにより、ブレーキがかかることや右左折することを聴覚、又は視覚を通して知らせる技術も開発されている(例えば、特許文献2参照)。
松永亨、武田憲明:動揺病と宇宙酔い、耳鼻臨床、Vol.81、No8、p1095〜1120、1998 特開2002−154350号公報(第1図) 特開2003−154900号公報
しかしながら、特許文献1、及び2に記載の表示装置による動揺病対策は、ハンドル、ブレーキ、ウインカー等の操作情報に基づいて、加減速や右左折することを知らせるだけであるため、乗員は、知らされた情報により乗り物の動きを認識するステップと、それに対して身構えるステップとの2ステップが必要になる。そのため、乗り物が加減速や右左折することを知らせるだけでは、身構えるということには必ずしもつながらず、乗り物酔いを十分に防止できないという課題があった。
本発明は、上記問題に鑑みてなされた。すなわち、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することを目的とする。
本発明の第1の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて背景映像を生成する背景映像生成部と、挙動検出部によって検出された乗り物の挙動に基づいて映像を変形する映像変形部と、背景映像生成部が生成した背景映像と映像変形部によって変形された映像を合成する合成部と、合成部が合成した合成映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
また、挙動検出部は、速度センサー、加速度センサー、及び角速度センサーのうちの少なくとも1つの信号を用いて乗り物の挙動を検出することが好ましい。
この構成により、加減速、加速度、角速度のような乗り物に加わる挙動を確実に検出することができる。
また、挙動検出部は、乗り物の運転手による乗り物に対する操作状態に基づいて乗り物の挙動を検出することが好ましい。
この構成により、ハンドル操作やブレーキ操作等のように運転手による乗り物に対する操作状態に基づいて挙動を検出するので、右左折や加減速等のように乗り物に加わる挙動を確実に検出することができる。
また、挙動検出部は、乗り物の外部環境を撮像する撮像部の出力に基づいて乗り物の挙動を検出することが好ましい。
この構成により、乗り物が走行する前方の道路情報を容易に知ることができるので、乗り物に加わる挙動を予想することができる。
また、挙動検出部は、乗り物の経路誘導を行うナビゲーション部の出力に基づいて乗り物の挙動を検出することが好ましい。
この構成により、乗り物が走行する前方の道路情報を容易に知ることができるので、乗り物に加わる挙動を予想することができる。
また、挙動検出部は、乗り物の左右、上下、前後の加速度、及び角速度のいずれか1つ以上を検出することが好ましい。
この構成により、乗り物の複合した挙動を検出できる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、背景映像の表示位置を変更することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、挙動が左折を示すときは右方向に、挙動が右折を示すときは左方向に、移動した背景映像を生成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、背景映像生成部は、縦のストライプ模様を背景映像として生成することが好ましい。
この構成により、背景映像となる縦のストライプ模様が左右に動くことにより、乗員は乗り物の右左への挙動を視覚情報として認識しやすくなる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、挙動が左折を示すときは左回転、挙動が右折を示すときは右回転した背景映像を生成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、挙動検出部によって検出された乗り物の挙動に応じて、映像を台形変換することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、挙動検出部によって検出された乗り物の挙動に応じて、映像に対して、左端右端の拡大、縮小、上端下端の拡大、縮小のいずれか1つ以上を変更して台形変換することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、映像を拡大又は縮小することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、合成部は、背景映像生成部が生成した背景映像を背景として、映像変形部が変形した映像を前景として合成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、合成部は、挙動検出部によって検出された乗り物の挙動に応じて、背景映像生成部が生成した背景映像と、映像変形部が変形した映像の表示位置を変更することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また本発明の映像表示装置は、背景映像を生成する背景映像生成部を設定する背景映像設定部を更に備えることが好ましい。
この構成により、乗員に、背景映像設定部が生成する背景映像の表示位置を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、背景映像設定部は、背景映像の種類を選択することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像設定部が生成する背景映像の種類を設定することができる。
また、背景映像設定部は、挙動検出部によって検出された乗り物の挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを設定することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像の表示位置を変更することにより視覚誘導自己運動感覚の強弱を設定できる。
また、背景映像設定部は、挙動検出部によって検出された乗り物の挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部の表示位置によって変更して設定することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像の表示位置を変更することにより視覚誘導自己運動感覚の強弱を設定できる。
また、本発明の映像表示装置は、映像を変形する映像変形部を設定する映像変形設定部を更に備えることが好ましい。
この構成により、乗員に、映像変形設定部は、変形する映像の形状を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、映像変形部が変形する映像を台形、縮小、無変形のいずれかに設定することが好ましい。
この構成により、乗員に、映像変形設定部は、変形する映像の形状を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、映像変形部が変形する映像が台形に設定されている場合に、台形の形状、縮小率を設定することが好ましい。
この構成により、乗員に、映像変形設定部は、映像変形部が変形する台形の形状、縮小率を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、挙動検出部によって検出された乗り物の挙動に基づいて、映像を変形する際の変形の度合いを設定することが好ましい。
この構成により、乗員に、映像変形設定部は、映像変形部が変形する際の変形の度合いを設定することにより視覚誘導自己運動感覚の強弱を設定できる。
本発明の第2の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて移動する背景映像を生成する背景映像生成部と、映像を縮小する映像変形部と、背景映像生成部が生成した背景映像と映像変形部によって縮小された映像を合成する合成部と、合成部が合成した合成映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
本発明の第3の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて映像を変形する映像変形部と、映像変形部によって変形された映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
また、本発明の乗り物は、上述した映像表示装置を備えることが好ましい。
この構成により、乗り物でTV等の映像を視聴しながら、乗員に対して視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
以上のように本発明は、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。更には、これにより動揺病の発生を減少させることができる。
図1は、本発明の第1の実施の形態に係る映像表示装置の全体構成を示すブロック図である。 図2は、本発明の第1の実施の形態に係る表示部の表示例を示す図である。 図3は、本発明の第1の実施の形態において乗り物がカーブを走行中に発生する角速度、遠心方向の加速度を説明するための図である。 図4は、本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係を示す図である。 図5は、本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係の他の例を示す図である。 図6は、本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係を示す図である。 図7は、本発明の第1の実施の形態に係る表示部の他の表示例を示す図である。 図8は、本発明の第1の実施の形態に係る映像表示装置の動作の流れを示すフローチャートである。 図9は、(a)本発明の第1の実施の形態において車が走行中のヨー方向の角速度の実験結果を示す図、(b)本発明の第1の実施の形態において車が代表的な交差点を走行中のヨー方向の角速度の実験結果を示す図である。 図10は、本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図11は、本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図12は、本発明の第1の実施の形態に係る表示部の表示例を示す図である。 図13は、本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図14は、本発明の第2の実施の形態に係る表示部の表示例を示す図である。 図15は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係を示す図である。 図16は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係の他の例を示す図である。 図17は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係を示す図である。 図18は、本発明の第2の実施の形態において映像変形部が映像を台形変換するときの方法を説明するための図で、(a)表示部を正面から見たときの図、(b)表示部を上から見たときの図である。 図19は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係を示す図である。 図20は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係の他の例を示す図である。 図21は、本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係を示す図である。 図22は、本発明の第2の実施の形態に係る映像表示装置の動作の流れを示すフローチャートである。 図23は、本発明の第2の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図24は、本発明の第2の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図25は、本発明の第3の実施の形態に係る表示部の表示例を示す図である。 図26は、本発明の第3の実施の形態に係る表示部の他の表示例を示す図である。 図27は、本発明の第3の実施の形態に係る映像表示装置の動作の流れを示すフローチャートである。 図28は、本発明の第3の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。 図29は、本発明の第3の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図である。
符号の説明
101 挙動検出部
102 背景映像生成部
103 映像生成部
104 映像変形部
105 合成部
106 表示部
107 ナビゲーション部
108 撮像部
109 背景映像設定部
110 映像変形設定部
201、1401、1403、1405、1407、1802、1803、2501 映像
202、702、1202、1402、1404、1406、1408、2502、2602 背景映像
301 乗り物
401、402、403、501、502、503、601、602、603 角速度と背景映像の移動速度の関係
901、902 角速度
1501、1502、1503、1601、1602、1603、1701、1702、1703 角速度と右端と左端の比の関係
1801 表示部
1804 中心軸
1805、1806 仮想スクリーン
1807 仮想カメラ
1901、1902、1903、2001、2002、2003、2101、2102、2103 角速度と台形変換前後に係る上端下端の比の関係
以下、本発明の実施の形態の映像表示装置について、図面を用いて詳細に説明する。
(実施の形態1)
図1は、本発明の第1の実施の形態に係る映像表示装置の全体構成を示すブロック図である。図1において、映像表示装置は、乗り物の挙動を検出する挙動検出部101、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102、映像を生成する映像生成部103、挙動検出部101によって検出された挙動に基づいて映像生成部103が生成した映像を変形する映像変形部104、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105、合成部105が合成した合成映像を表示する表示部106、乗り物の経路誘導を行うナビゲーション部107、乗り物の周辺を撮像する撮像部108、背景映像生成部102を設定する背景映像設定部109、及び映像変形部104を設定する映像変形設定部110を備える。
挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、及び角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)のいずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
また、挙動検出部101は、運転手による乗り物に対する操作状態に基づいて乗り物の挙動を検出してもよい。例えば、ハンドル操作による右左折、ウインカー操作による右左折、ブレーキやエンジンブレーキによる減速、ハザードランプによる停止、アクセルによる加速等の車両操縦状態いずれかを使って、乗り物の左右、加減速のうち少なくとも1つが検出される。
また、ナビゲーション部107は、一般的なナビゲーション装置、すなわち現在位置を取得するGPS(Global Positioning System)受信機、地図情報を記憶するメモリ、目的地を設定する操作入力部、GPS受信機で受信した自車位置から入力された目的地までの推奨経路を算出して道路地図にマッチングする経路探索部、その推奨経路を道路情報と共に表示する表示部を備える。
挙動検出部101は、ナビゲーション部107によって出力された情報に基づいて、車両の右折、左折、加速、及び減速のうち少なくとも1つの挙動を検出してもよい。なお、挙動検出部101は、ナビゲーション部107が車両の経路誘導を行っているとき、ナビゲーション部107が誘導している経路についての道路情報をナビゲーション部107から取得してもよいし、また、ナビゲーション部107が車両の経路誘導を行っていないときは、車両の前方の道路情報を撮像部108から取得してもよい。ここで、挙動検出部101がナビゲーション部107から取得する道路情報としては、例えば、右左折の角度、直線道路の曲率、道路の傾斜角度、路面状態、道幅、信号機の有無、一方通行、進入禁止、一時停止、及び/又は右折レーンや左折レーンを走行中であるかである。
また、撮像部108は、カメラによって構成されており、車両の周辺、特に車両の走行方向前方を撮影するようになっている。
挙動検出部101は、撮像部108によって撮像され出力された映像情報に基づいて、画像処理を行って車両の走行方向前方の道路情報を取得し、車両の右折、左折、加速、および減速のうち少なくとも1つの挙動を検出してもよい。ここで、挙動検出部101が画像処理によって取得する道路情報は、挙動検出部101がナビゲーション部107から取得する道路情報と同様である。
また、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を有するコンピュータを乗り物に設置し、このコンピュータが、挙動検出部101として機能するようにしてもよい。
背景映像生成部102は、挙動検出部101によって検出された乗り物の加減速、及び/又は角速度によって背景映像を生成する。
映像生成部103は、テレビ受信機やDVD(Digital Versatile Disc)プレイヤー、ムービー、ゲーム等の映像を出力する装置によって構成されている。
映像変形部104は、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像生成部103が生成した映像を変形する。本実施の形態では、映像を縮小する。
合成部105は、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する。映像変形部104が変形した映像は前面に、背景映像生成部102が生成した背景映像は背景になるように合成する。
表示部106は、液晶、CRT、有機EL、プラズマ等のディスプレイやスクリーンに映像を映すプロジェクタやヘッドマウントディスプレイ、及びヘッドアップディスプレイのうち、いずれか1つ以上により構成される。
また、表示部106は、運転手以外の乗員が見ることができる位置、例えば車両の後部座席や天井等に設けられていてもよい。勿論、運転手も見ることができる位置に設けられてもよいが、乗員が優先して見ることができる位置に設けられることが好ましい。
背景映像設定部109は、背景映像生成部102が生成する背景映像の種類を選択する、例えば、キーボード、又はタッチパネルである。
また背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像生成部102が生成する背景映像の表示位置を変更する際の変更度合いを設定する。
また背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部106の表示位置によって変更して設定する。
映像変形設定部110は、映像変形部104が変形する映像を台形、縮小、無変形のいずれかに設定するする、例えば、キーボード、又はタッチパネルである。
また映像変形設定部110は、映像変形部104が変形する台形の形状、縮小率を設定する。
また映像変形設定部110は、挙動検出部101によって検出された挙動に基づいて映像を変形する際の変形の度合いを設定する。
以上のように構成された映像表示装置について、図2を用いてその動作を説明する。図2は、表示部106が表示するときの表示例であり、映像201と背景映像202からなる。映像201は、映像変形設定部110で縮小するように映像変形部104を設定した場合に、映像変形部104により縮小された映像である。この例では、挙動検出部101の出力する挙動によらず一定に縮小されたままとする。映像201は映像が見えやすく、且つ背景映像202(図2では縦のストライプ模様)が見える程度に縮小される。
背景映像202は、背景映像設定部109で縦のストライプ模様を生成するように背景映像生成部102を設定した場合に、挙動検出部101の挙動に応じて背景映像生成部102が出力した背景映像である。
背景映像202は、図2のように縦のストライプ模様でもよいし、写真のような静止画でもよい。背景映像202が移動したときに、移動したことを乗員が認識できればよい。背景映像202は、挙動検出部101の挙動に応じて表示位置が左方向、あるいは右方向に移動する。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像202は、右方向に移動する。なお、逆に挙動検出部101が右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像202は、左方向に移動する。
動揺病は視覚刺激によっても誘起される。例えば、激しい動きのある映画を見た時にシネラマ酔いが生じる。また、視覚刺激については、視覚刺激により自分が回転しているという自己運動の感覚、すなわち視覚誘導自己運動感覚(ベクション)が発生する。例えば、回転ドラムの中央に観察者を配置してドラムを回転させると、自分がドラムの回転の逆方向に回転していると感じ始める視覚誘導自己運動感覚が発生する。乗り物の挙動に応じて背景映像を移動させることで、乗員に視覚誘導自己運動感覚を積極的に与えることにより、無意識のうちに視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致する。そのため、従来の「減速します」、「右に曲がります」等の音声を流したり、右折する場合は右方向の矢印を表示する場合に比べて、動揺病の発生を減少させることができると考えられる。
図3は、乗り物がカーブを走行中に発生する角速度、遠心方向の加速度を説明するための図である。乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが、また加速度計により遠心方向に発生する加速度αが算出できる。このとき背景映像生成部102の出力する背景映像の移動速度をuとすると、uは式1の様に、ωとαの関数で表される。ここで、関数Func1は背景映像設定部109で設定できる。
u=Func1(ω、α) 式1
ここでαとωには式2の関係がある。
α=R×ω2 式2
なお角速度ω、加速度αはそれぞれ角速度計、加速度計により測定可能なので式2から半径Rは式3で算出できる。
R=α/ω2 式3
なお、
v=R×ω 式4
の関係がある。
これより式1は変数を置換して、式5のようにuはωとRの関数Func2で表すことができる。
u=Func2(ω、R) 式5
ここで半径Rを一定とすると、式5は挙動検出部101が出力する角速度ωと、背景映像生成部102の出力する背景映像の移動速度uとの関係として、図4に示される。ωは乗り物の左方向の回転を正で示し、右方向の回転が負で示す。uは乗り物の右方向に移動する場合を正で示し、左方向に移動する場合を負で示す。図4の401は、ωが正方向に大きいときすなわち左回転するときに、uが正方向に大きくすなわち背景映像の移動速度を右方向に大きくしている。ωが負方向に大きいとき、すなわち、右回転するときに、uが負方向に大きく、すなわち、背景映像の移動速度を左方向に大きくしている。402は、ωに対してuの移動速度が大きく変化し、また403はωに対してuの移動速度が小さく変化している例である。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また、式5は図5の様に表すこともできる。図4ではωとuの関係が直線的だったが、501では、ωの絶対値が小さい場合は、uはあまり変化がなく、ωの絶対値が大きいところで、uの絶対値は飽和している。502は501に対して、ωに対するuの変化を大きくした場合で、逆に503はωに対してuの変化を小さくした場合の例である。このように、501、502、503ではωとuの関係を非線形にし、ωが大きくなってもuが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても背景映像の移動速度uが一定値に保たれ、背景映像が見え辛くなることはない。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式2よりRに比例してαが大きくなるため、式5は図6のように表すことができる。601を基準の半径Rとした場合、602は601よりRが大きいので、ωに対するuの移動速度の変化を大きく、また603のように601よりRが小さいときは、同じωではuの移動速度の変化は小さくした場合の例である。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお図5の場合と同様に、ωとuの関係は直線的ではなく、ωの絶対値が小さい場合は、uはあまり変化がなく、ωの絶対値が大きいところで、uの絶対値は飽和するようにしてもよい。
なお、Rが変化した場合、図2の背景映像202は遠心方向に発生する加速度αの影響を考慮して、図7の702のように、回転させてもよい。すなわち背景映像生成部102は、挙動検出部101によって検出された角速度に応じ、角速度が左折を示すときは左回転(反時計回り)、角速度が右折を示すときは右回転(時計回り)した背景映像702を生成してもよい。ここでRが大きくなるにつれて、回転角度を大きくする。ただし、縦のストライプ模様が水平方向にならない程度に制限する。背景映像702の回転は、uの移動速度で移動しながらでもよいし、回転のみでもよい。
なお、乗員から表示部106までの距離をLとしたときに、背景映像生成部102が出力する背景映像の移動する角速度をω0とすると、uは、L、ω0を使って、式6で表
すことができる。
u=L×ω0 式6
次に、映像表示装置の動作を図8のフローチャートに基づいて説明する。まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS801)。例えば、挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS801で検出した乗り物の現在の挙動に応じて、背景映像設定部109の設定に応じて背景映像生成部102が、背景映像の表示位置を変更する(ステップS802)。背景映像の表示位置を変更する背景の移動速度uは、式5、式6および図4、図5、図6で表される。
次いで、映像生成部103が生成した映像を映像変形部104で変形する(ステップS803)。本実施の形態では、映像変形設定部110が縮小を設定しているとする。そして、ステップS802による背景映像と、ステップS803による映像を合成部105で合成する(ステップS804)。ステップS803で映像変形部104が変形した映像は前面に、ステップS802で背景映像生成部102が生成した背景映像は背景になるように合成する。
次いで、合成部105で合成した映像を表示部106で表示する(ステップS805)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップS801に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS806)。ここで、動作モードは、この映像表示装置の背景映像を表示させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の縮小や背景映像の表示はされない。
なお、映像変形部104が出力する映像は縮小でなく、映像生成部103の出力する映像の一部を切り出して表示しても構わない。
なお、背景映像生成部102が出力する背景映像の移動速度uは式5ではωとRの関数であったが、式5を簡易化してRによらずωだけの関数とみなしてもよい。
なお、背景映像生成部102で表示位置を変更する背景映像を生成したが、代わりに、背景映像生成部102で生成する背景映像は同一のままで、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105で合成する位置を変更してもよい。
なお、挙動検出部101である角速度センサーにより角速度ωを算出したが、ナビゲーション部107より角速度ωを算出してもよく、また、別の方法としては、撮像部108により撮像された走行方向前方の映像を画像処理することにより角速度ωを算出してもよい。
本発明の第1の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。
(予備実験その1)
目的:背景映像生成部102の出力する背景映像202の移動する角速度をω0とした際に、挙動検出部101が検出する乗り物のヨー方向の角速度ωと、ω0との関係を算出するために、まず乗り物が交差点を曲がる際のヨー方向の角速度ωを計測する。
実験方法:車で市街地を、制限速度を守って20分間走行し、角速度計でωを算出した。
実験結果:結果を図9に示す。図9(a)において、901は20分間の走行中の角速度を示している。横軸は時間、縦軸は角速度である。図9(b)において、902は20分間の走行中の代表的な交差点について抜き出したものである。横軸は時間、縦軸は角速度である。90度の交差点を曲がる時間は平均するとおおよそ6秒程度、最大の角速度は30[deg/s]程度であった。
(予備実験その2)
目的:挙動検出部101が検出する乗り物のヨー方向の角速度ωと、背景映像生成部102の出力する背景映像の移動する角速度ω0との関係を算出する。
実験方法:三重大学工学部の暗室に設置されたコリオリ刺激装置(回転装置)を使用した。予備実験その1の結果に基づき図9(b)の902を模擬した回転をコリオリ刺激装置で発生させ、被験者を、6秒間、最大角速度を30[deg/s]で、90度回転させた。
回転した角速度ω[deg/s]に応じて、11インチのTVに図2に示す背景映像202を角速度ω0[deg/s]で移動した。被験者とディスプレイの距離は約50[cm]だった。被験者には、平衡感覚で感じるコリオリ刺激装置の角速度ωと、視覚から感じるω0が一致するようにω0を設定させた。被験者は、20歳前後の健康な男女であり、試行数は40回であった。
実験結果:結果を図10のヒストグラムに示す。ω0とωの比をRatio1とすると式7で表される。横軸はRatio1、縦軸はRatio1を示した人数である。
Ratio1 =ω0/ω 式7
Ratio1の平均値は、0.47であった。標準偏差は、0.17であった。
(本実験その1)
目的:本発明の第1の実施の形態の映像表示装置の効果を実車実験で確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第1の実施の形態条件の3条件で比較を行った。普通条件では、特別な制約やタスクは課さなかった。TV視聴条件、第1の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第1の実施の形態条件では、予備実験その2の結果を利用して、ω0の速度を決定した。なお、11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて168試行の実験を行った。普通の条件は53試行、TV視聴条件は53試行、第1の実施形態条件は62試行であった。
実験結果:結果を図11に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図11は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第1の実施の形態条件は、不快感がやや下がっていることが確認できた。
(本実験その2)
目的:本発明の第1の実施の形態の映像表示装置の効果を実車実験で確認する。本実験その1では、実験後に複数の被験者から背景映像の移動する角速度ω0が早いために逆に不快感が増大したとの意見があった。このためω0を遅くして実車実験で効果を確認する。
実験方法:TVの映像を注視しているため、TVに撮像される映像の水平画角が有効視野の水平視角程度に相当すると考え、TV映像の水平視角を90度とみなして換算したときに車の動きの角速度ωと一致するように、ω0を調整した。本実験その1の半分程度の速度であった。更に回転している効果を付与するために、背景映像生成部102の出力する背景映像に円筒の効果をつけた。図12に示すように背景映像1202は、等間隔、等幅の縦のストライプ模様の円筒を回転し、円筒の中心から撮影した映像とした。こうすることで、表示画面の中心部分では遅く動き、左右端は早い動きになる。すなわち、背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部106の表示位置によって変更して設定するようになっている。今回の実験に係る第1の実施の形態条件は、試行数は24試行であった。その他の条件は、本実験その1と同様である。
実験結果:本実験その1の普通条件、TV視聴条件と、今回の実験結果を図13に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。TV視聴条件に比べて、本実験その2の第1の実施の形態は、不快感が大きく下がっていることが確認できた。
このように、本発明の第1の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
(実施の形態2)
本発明の第2の実施の形態の映像表示装置を図1に示す。本発明の第2の実施の形態は、実施の形態1に比べて、背景映像設定部109の動作と、背景映像生成部102の動作と、映像変形設定部110の動作と、映像変形部104の動作が異なる。
背景映像設定部109は、背景映像生成部102が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって背景映像を生成するように設定する。本実施の形態では、背景映像設定部109が、背景映像生成部102に対して、背景映像として黒画を生成するように設定している。背景映像は、黒画でなくともブルーバック等の単一色画像や静止画でもかまわない。
映像変形設定部110は、映像変形部104が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって映像生成部103が生成した映像を変形するように設定する。本実施の形態では、映像変形設定部110が、映像変形部104に対して、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。その他の構成は第1の実施の形態と同様であるので説明を省略する。
以上のように構成された映像表示装置について、その動作を説明する。図14(a)は、表示部106が表示するときの表示例である。映像1401は、映像変形部104により台形変形された映像である。この例では、挙動検出部101の出力する挙動に応じて映像を台形変換している。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像1401は、左端を縮小する。なお、逆に右方向の角速度を出力した場合は、すなわち、右方向に乗り物がカーブしている場合、映像変形部104が出力する映像は、右端を縮小する。背景映像1402は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、別の例として、図14(b)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する映像1403は、左端が縮小し、かつ上端下端を縮小する。なお、逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1403は、右側が縮小し、かつ上端下端を縮小する。1403は、映像の水平方向の中心を軸に水平回転していることに相当する。1404は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、別の例として、図14(c)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像1405は、左端が縮小、右端はそのまま、上端下端を縮小する。なお逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1405は、右端が縮小、左端はそのまま、上端下端を縮小する。映像1405は、映像の右端又は左端を軸に水平回転していることに相当する。背景映像1406は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、図14(a)、(b)、(c)は、上下方向で対称的な台形変換を行っているが、別の例として図14(d)は、上下方向で非対称的な台形変換を行った例である。図14(d)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する1407は、左端を縮小している。なお、逆に右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1407は、右側が縮小する。背景映像1408は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
以上のように映像変形設定部110は、映像変形部104に対して、乗り物の挙動に応じて映像の台形変換を設定できる。
次に、映像変形部104による台形変換の左端、右端の拡大、縮小について説明する。図3の様に乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが、また加速度計により遠心方向に発生する加速度αが算出できる。
このとき映像変形部104による台形変換に係る左端、右端の縮小は、左端h1と右端h2の割合をkとすると、kは式8の様に、ωとαの関数で表される。この関数は映像変形設定部110で設定できる。ただし、kは正の値に制限するものとする。
k=h2/h1=Func3(ω、α) 式8
ここで、αとωには式9の関係がある。
α=R×ω2 式9
これより式8は変数を置換して、式10のようにkはωとRの関数Func4で表すことができる。
k=Func4(ω、R) 式10
ここで半径Rを一定とすると、式10は挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る左端h1と右端h2の割合kとの関係として、図15に示される。ωは乗り物の左方向の回転が正を示し、乗り物の右方向の回転が負を示す。kは右端が左端より大きい場合に1より大きく、右端が左端より縮小する場合に1より小さい。図15の1501は、ωが正方向に大きいときすなわち左回転するときに、kが1より大きくすなわち右端が左端より大きくしている。ωが負方向に大きいとき、すなわち、右回転するときに、kが1より小さくすなわち右端が左端より縮小している。1502は、ωに対してkが大きく変化し、また1503はωに対してkが小さく変化している例である。これらの関係は式10の関数Func4で設定できるものである。このように関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また、式10は図16の様に表すこともできる。図15ではωとkの関係が直線的だったが、1601では、ωの絶対値が小さい場合は、kはあまり変化がなく、ωの絶対値が大きいところで、kの絶対値は飽和している。1602は1601に対して、ωに対するkの変化を大きくした場合で、逆に1603はωに対してkの変化を小さくした場合の例である。このように、1601、1602、1603では、ωとkの関係を非線形にし、ωが大きくなってもkが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても左端と右端の割合kが一定値に保たれ、映像が見え辛くなることはない。これらの関係は式10の関数Func4で設定できるものである。このように関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式9よりRに比例してαが大きくなるため、式10は図17のように表すことができる。1701を基準の半径Rとした場合、1702は1701よりRが大きいので、ωに対するkの変化を大きく、また、1703のように1701よりRが小さいときは、同じωではkの変化は小さくした場合の例である。これらの関係は式10の関数Func4で設定できるものである。このように、関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお、図16の場合と同様に、ωとkの関係は直線的ではなく、ωの絶対値が小さい場合は、kはあまり変化がなく、ωの絶対値が大きいところで、kの絶対値は飽和するようにしてもよい。
次に、台形変換について図18を用いて説明する。映像変形部104の台形変換に係る回転角度をθとすると、図14(b)は図18(a)で表すことができる。図18(a)において、1801は表示部106、1802は挙動検出部101が出力する角速度が0、すなわち乗り物がまっすぐ進んでいる場合に、映像変形部104が出力した映像であり、1803は挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像である。1804は、映像の水平方向の中心の軸を表している。このとき、映像変形部104の台形変化は、コンピュータグラフィックスに係る仮想カメラと仮想スクリーンの概念で表すことができる。すなわち、図18(b)のように、仮想カメラから仮想スクリーンまでの距離をLs、仮想スクリーンの水平方向の半分の長さをLhとすると、LsがLhより大きいとき、式10は式11で表すことができる。ここで1805、1806は仮想スクリーンであり、1805、1806はそれぞれ映像1803、1802を真上から見下ろしたことに相当し、1807は仮想カメラを表している。なお仮想カメラによって撮像される映像の水平画角をφとすると、φはLs又はLhの長さを変更することで、変更することができる。
k=h2/h1=(Ls+Lh×sinθ)/(Ls−Lh×sinθ)
=(1+Lh/Ls×sinθ)/(1−Lh/Ls×sinθ) 式11
ここで式12の関係があるとき、
Lh/Ls×sinθ<<1 式12
式11は、式13に近似できる。
k≒1+2×Lh/Ls×sinθ 式13
式13により図15は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係により表現することができる。
次に、映像変形部104による台形変換の上端下端の拡大、縮小について説明する。図3の様に乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが算出される。また加速度計により遠心方向に発生する加速度αが算出される。
このとき映像変形部104による台形変換において、台形変換前に対する台形変換後の上端下端の長さの比をmとすると、mは式14の様に、ωとαの関数Func5で表される。ただし、mは正の値に制限するものとする。
m=台形変換後の上端下端の長さ/台形変換前の上端下端の長さ
=Func5(ω、α) 式14
ここでαとωには式15の関係がある。
α=R×ω2 式15
これより式14は変数を置換して、式16のようにmはωとRの関数で表すことができ
る。
m=Func6(ω、R) 式16
式16は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換前後に係る上端下端の比mとの関係として、図19に示される。ωは乗り物の左方向の回転が正で乗り物の右方向の回転が負、mは上端下端が縮小する場合は1より小さい。図19の1901は、ωが正方向に大きいとき、すなわち、左回転するときに、mが1より小さく、上端下端が縮小している。ωが負方向に大きいとき、すなわち、右回転するときに、mが1より小さく、上端下端が縮小している。1902は、ωに対してmが大きく変化し、また1903はωに対してmが小さく変化している例である。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また式16は図20の様に表すこともできる。図19ではωとmの関係が直線的だったが、2001では、ωの絶対値が小さい場合は、mはあまり変化がなく、ωの絶対値が大きいところで、mの絶対値は飽和している。2002は2001に対して、ωに対するmの変化を大きくした場合で、逆に2003はωに対してmの変化を小さくした場合の例である。このように、2001、2002、2003ではωとmの関係を非線形にし、ωが大きくなっても、mが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても台形変換前に対する台形変換後の上端下端のmが一定値に保たれ、映像が見え辛くなることはない。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式15よりRに比例してαが大きくなるため、式16は図21のように表すことができる。2101を基準のRとした場合、2102は2101よりRが大きいので、ωに対するmの変化を大きく、また2103のように2101よりRが小さいときは、同じωではmの変化は小さくした場合の例である。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお図20の場合と同様に、ωとmの関係は直線的ではなく、ωの絶対値が小さい場合は、mはあまり変化がなく、ωの絶対値が大きいところで、mの絶対値は飽和するようにしてもよい。
また、台形変換の様子を図18で表すと、式16は式17で表すことができる。
m=Lh×cosθ/Lh=cosθ 式17
式17により図19は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係により表現することができる。
次に、映像表示装置の動作を図22のフローチャートに基づいて説明する。
図22において、まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS2201)。例えば挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後、の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS2201で検出した乗り物の現在の挙動に応じて、背景映像生成部102が、背景映像設定部109の設定に応じて背景映像を生成する(ステップS2202)。本実施例では、黒画やブルーバック等の単一色画像や静止画で構わない。
次いで、映像生成部103が生成した映像を、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像変形部104で変形する(ステップS2203)。本実施の形態では、映像変形設定部110の設定に応じて、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
そして、ステップS2202による背景映像と、ステップS2203による映像を合成部105で合成する。ステップS2203で映像変形部が変形した映像は前面に、ステップS2202の背景映像生成部102が生成した背景映像は背景になるように合成する(ステップS2204)。
次いで、合成部105で合成した映像を表示する(ステップS2205)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップS2201に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS2206)。ここで、動作モードは、この映像表示装置の映像を変形させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の変形はされない。
なお、映像変形部104が変形する映像は、映像の全体が表示できるように、あらかじめ少し縮小した映像に対して台形変換しても構わない。この場合は、左端・右端の一端は拡大しても構わない。
なお、映像変形部104による台形変換において、台形変換による左端と右端の割合kは、式10ではωとRの関数だったが、式10を簡易化してRによらずωだけの関数とみなしてもよい。
なお、映像変形部104による台形変換において、台形変換前に対する台形変換後の上端下端の長さの比mは、式16ではωとRの関数だったが、式16を簡易化してRによらずωだけの関数とみなしてもよい。
なお、挙動検出部101である角速度センサーにより角速度ωを算出したが、ナビゲーション部107より角速度ωを算出しても良く、また、別の方法としては、撮像部108により撮像された走行方向前方の映像を画像処理することにより角速度ωを算出してもよい。
本発明の第2の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。
(予備実験その1)
目的:映像変形部104による台形変換に係る回転角度をθとした際に、挙動検出部101が検出する乗り物のヨー方向の角速度ωとθとの関係を算出するために、まず乗り物が交差点を曲がる際のヨー方向の角速度ωを計測する。
実験方法:車で市街地を、制限速度を守って20分間走行し、角速度形でωを算出した。本発明の第1の実施の形態に係る予備実験と同一の実験方法である。
実験結果:結果を図9に示す。本発明の第1の実施の形態に係る予備実験と同一結果である。
(予備実験その2)
目的:挙動検出部101が検出する乗り物のヨー方向の角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係を算出する。
実験方法:三重大学工学部の暗室に設置されたコリオリ刺激装置(回転装置)を使用した。予備実験その1の結果に基づき図9の902を模擬した回転をコリオリ刺激装置で発生させ、被験者を6秒間、最大角速度を30[deg/s]で、90度回転させた。回転した角速度ω[deg/s]に応じて、11インチのTVに図18に示す映像1803を回転角度θ[deg]で回転させ台形変換した。被験者とディスプレイの距離は約50[cm]だった。被験者には、平衡感覚で感じるコリオリ刺激装置の角速度ωと、視覚から感じる回転角度θが一致するようにθを設定させた。被験者は、20歳前後の健康な男女であり、試行数は40回であった。
実験結果:結果を図23のヒストグラムに示す。θとωの比をRatio2とすると式18で表される。横軸はRatio2、縦軸はRatio2を示した人数である。
Ratio2 =θ/ω 式18
Ratio2の平均値は、0.94であった。標準偏差は、0.36であった。
(本実験)
目的:本発明の第2の実施の形態の映像表示装置の効果を実車実験で確認する
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第2の実施の形態条件の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験での、普通条件、TV視聴条件と同一である。第2の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第2の実施の形態条件では、予備実験その2の結果を利用して、θの角度を決定した。なお11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、第2の実施形態条件は66試行の実験を行った。
実験結果:結果を図24に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図24は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第2の実施の形態条件は、不快感が大きく下がっていることが確認できた。なおφは約30[deg]、60[deg]の2通り実験したが、不快感にはほとんど影響がなかった。
このように、本発明の第2の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる。
なお、本実施形態において、背景映像生成部102は黒画、ブルーバック等の単一色画像や静止画を生成して、映像変形部104によって変形された映像と合成部105により合成したが、あえて背景画像を生成して変形した画像と合成する必要はなく、背景映像生成部102、背景映像設定部109、合成部105については無い構成にしてもよい。この場合、映像変形部104の出力が直接、表示部106に入力されることになる。すなわち、その場合の映像表示装置は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて映像を変形する映像変形部と、映像変形部によって変形された映像を表示する表示部から構成され、同様の効果を生じる。
(実施の形態3)
本発明の第3の実施の形態の映像表示装置を図1に示す。本発明の第3の実施の形態は、実施の形態1、及び実施の形態2に比べて、背景映像設定部109の動作と、背景映像生成部102の動作と、映像変形設定部110の動作と、映像変形部104の動作が異なる。
背景映像設定部109は、背景映像生成部102が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって背景映像を生成するように設定する。本実施の形態では、背景映像設定部109が、背景映像生成部102に対して、背景映像として縦のストライプ模様を生成するようにしている。
すなわち、本実施の形態では、背景映像設定部109、背景映像生成部102は、実施の形態1の背景映像設定部109、背景映像生成部102の動作と同一である。
映像変形設定部110は、映像変形部104が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって映像生成部103が生成した映像を変形するように設定する。本実施の形態では、映像変形設定部110が、映像変形部104に対して、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
すなわち本実施の形態では、映像変形設定部110、映像変形部104は、実施の形態2の映像変形設定部110、映像変形部104の動作と同一である。その他の構成は第1の実施の形態、第2の実施の形態と同様であるので説明を省略する。
以上のように構成された映像表示装置について、その動作を説明する。図25は、表示部106が表示するときの表示例である。映像2501は、映像変形部104により台形変形された映像である。この例では、挙動検出部101の出力する挙動に応じて映像を台形変換している。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する映像2501は、左端が縮小し、かつ上端下端を縮小する。なお逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像2501は、右側が縮小し、かつ上端下端を縮小する。映像2501は、映像の水平方向の中心を軸に水平回転していることに相当する。
背景映像2502は、背景映像設定部109で縦のストライプ模様を生成するように背景映像生成部102を設定した場合に、挙動検出部101の挙動に応じて背景映像生成部102が出力した背景映像である。背景映像2502は、図25のように縦のストライプ模様でもよいし、写真のような静止画でもよい。背景映像が移動したときに、移動したことを乗員が認識できればよい。背景映像2502は、挙動検出部101の挙動に応じて表示位置が左方向、あるいは右方向に移動する。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像2502は、右方向に移動する。なお、逆に挙動検出部101が右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像2502は、左方向に移動する。
また表示例として、図26に示すように、背景映像設定部102で設定する縦のストライプ模様を背景映像2602のようにしても構わない。背景映像2602は回転している効果を付与するために、背景映像生成部102の出力する背景映像に円筒の効果をつけた。背景映像2602は、等間隔、等幅の縦のストライプ模様の円筒を回転し、円筒の中心から撮影した映像とした。
次に、映像表示装置の動作を図27のフローチャートに基づいて説明する。図27において、まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS2701)。例えば挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS2701で検出した乗り物の現在の挙動に応じて、背景映像設定部109の設定に応じて背景映像生成部102が、背景映像の表示位置を変更する(ステップS2702)。
次いで、映像生成部103が生成した映像を、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像変形部104で変形する(ステップS2703)。本実施の形態では、映像変形設定部110の設定に応じて、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
そして、ステップS2702による背景映像と、ステップS2703による映像を合成部105で合成する。ステップS2703で映像変形部104が変形した映像は前面に、ステップ2702で背景映像生成部102が生成した背景映像は背景になるように合成する(ステップS2704)。
次いで、合成部105で合成した映像を表示部106で表示する(ステップS2705)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップ2701に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS2706)。ここで、動作モードは、この映像表示装置の映像を変形したり背景映像を表示させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の変形や背景映像の表示はされない。
本実施の形態では、第1の実施の形態、第2の実施の形態の相乗効果を狙ったものである。
本発明の第3の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。予備実験としては、第1の実施の形態での予備実験その1、予備実験その2、及び第2の実施の形態での予備実験その1、予備実験その2の結果を利用した。
(本実験その1)
目的:本発明の第3の実施の形態の映像表示装置の効果を実車実験で確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第3の実施の形態条件の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験での、普通条件、TV視聴条件と同一である。第3の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第3の実施の形態条件では、第2の実施の形態に係る予備実験その2の結果を利用して、θの角度を決定した。またω0は、第1の実施の形態に係る本実験その1の結果を利用して決定した。なお11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、第3の実施形態条件は67試行の実験を行った。
実験結果:結果を図28に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図28は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第3の実施の形態条件は、不快感がやや下がっていることが確認できた。第1の実施の形態条件に係る本実験その1よりも、不快感がやや下がっていることが確認できた。
(本実験その2)
目的:本発明の第3の実施の形態の映像表示装置の効果を実車実験で確認する。本実験その1では、実験後に複数の被験者から背景映像の移動する角速度ω0が早いために逆に不快感が増大したとの意見があった。このためω0を遅くして実車実験で効果を確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第3の実施の形態条件(本実験その2)の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験に係る、普通条件、TV視聴条件と同一である。第3の実施の形態条件(本実験その2)では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第3の実施の形態条件(本実験その2)では、第2の実施の形態に係る予備実験その2の結果を利用して、θの速度を決定した。またω0は、第1の実施の形態に係る本実験その2の結果を利用して決定した。更に回転している効果を付与するために、第1の実施の形態に係る本実験その2と同様に、背景映像生成部102の出力する背景映像に円筒の効果をつけた。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、今回の実験に係る第3の実施形態条件(本実験その2)は23試行の実験を行った。
実験結果:結果を図29に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図29は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第3の実施の形態条件(本実験その2)は、不快感が大きく下がっていることが確認できた。第1の実施の形態条件に係る本実験その2よりも、不快感がやや下がっていることが確認できた。
このように、本発明の第3の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる。
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
以上のように、本発明にかかる映像表示装置は、乗り物でTV等の映像を視聴しながら、乗員に対して視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致させることで、乗員の負担を低減できるという効果を有し、乗員の乗り物酔いを防止する乗り物酔い防止装置等として有用である。
本発明は、映像表示装置に関し、より特定的には、乗り物の乗員に映像を提供するための映像表示装置に関する。
近年、各種情報の表示を行うディスプレイを搭載した乗り物が増えている。特に、自車位置を中心として地図を表示するナビゲーション装置用のディスプレイを搭載した乗り物が増えている。また、助手席、後部席用に、TV(Television)、VTR(Video Tape Recorder)、DVD(Digital Versatile Disk)、ムービー、ゲーム等の映像を表示するディスプレイを搭載した乗り物も増えている。
一方、自動車等の車内では、乗り物のエンジン、その他の駆動機構による振動、操舵走行中の道路地形、うねり、路面状況、縁石等乗り物外から自動車のシャーシが受ける振動、揺動、衝撃等による振動、更に、自動車の加速やブレーキによる振動が存在している。
このように乗り物に乗る等した場合、新しい運動環境に人間が置かれたときの実際の感覚情報パターンと、中枢神経内に蓄積されている感覚情報パターンとが異なるため、中枢神経が自分自身の位置や運動が把握できず混乱してしまうという感覚矛盾説(感覚混乱説、神経性不一致説)が知られている(例えば、非特許文献1参照)。この場合、中枢神経内の新しい感覚情報パターンの認識が起こるが、この適応過程において動揺病(乗り物酔い)が発症すると考えられている。例えば、自動車に乗って本を読む場合は、視線は固定している。これにより、視覚情報が自動車の運動による前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致しないため、乗り物酔いが発生するとされている。視覚情報と前庭情報の感覚混乱を避けるために、乗り物の中では、目を閉じているか、遠くの方を見るようにするとよいと言われている。また、ドライバーが乗客より酔いにくいのは、運転に伴う緊張と、乗り物の動きを予測して最も加速度変化の少ない頭の位置を能動的に取るためであると言われている。
このような動揺病対策として、乗り物の右左折、加減速および停止を表示することにより、運転手以外の乗員に乗り物の現在および次期動作を把握および予知させるようにした技術がある(例えば、特許文献1参照)。
また、後部座席の乗員の乗り物酔いを低減するために、ハンドル、ブレーキ、ウインカーからの操縦情報を受けて、「減速します」、「右に曲がります」等の音声を流したり、右折する場合は右方向の矢印を表示することにより、ブレーキがかかることや右左折することを聴覚、又は視覚を通して知らせる技術も開発されている(例えば、特許文献2参照)。
松永亨、武田憲明:動揺病と宇宙酔い、耳鼻臨床、Vol.81、No8、p1095〜1120、1998 特開2002−154350号公報(第1図) 特開2003−154900号公報
しかしながら、特許文献1、及び2に記載の表示装置による動揺病対策は、ハンドル、ブレーキ、ウインカー等の操作情報に基づいて、加減速や右左折することを知らせるだけであるため、乗員は、知らされた情報により乗り物の動きを認識するステップと、それに対して身構えるステップとの2ステップが必要になる。そのため、乗り物が加減速や右左折することを知らせるだけでは、身構えるということには必ずしもつながらず、乗り物酔いを十分に防止できないという課題があった。
本発明は、上記問題に鑑みてなされた。すなわち、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することを目的とする。
本発明の第1の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて背景映像を生成する背景映像生成部と、挙動検出部によって検出された乗り物の挙動に基づいて映像を変形する映像変形部と、背景映像生成部が生成した背景映像と映像変形部によって変形された映像を合成する合成部と、合成部が合成した合成映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
また、挙動検出部は、速度センサー、加速度センサー、及び角速度センサーのうちの少なくとも1つの信号を用いて乗り物の挙動を検出することが好ましい。
この構成により、加減速、加速度、角速度のような乗り物に加わる挙動を確実に検出することができる。
また、挙動検出部は、乗り物の運転手による乗り物に対する操作状態に基づいて乗り物の挙動を検出することが好ましい。
この構成により、ハンドル操作やブレーキ操作等のように運転手による乗り物に対する操作状態に基づいて挙動を検出するので、右左折や加減速等のように乗り物に加わる挙動を確実に検出することができる。
また、挙動検出部は、乗り物の外部環境を撮像する撮像部の出力に基づいて乗り物の挙動を検出することが好ましい。
この構成により、乗り物が走行する前方の道路情報を容易に知ることができるので、乗り物に加わる挙動を予想することができる。
また、挙動検出部は、乗り物の経路誘導を行うナビゲーション部の出力に基づいて乗り物の挙動を検出することが好ましい。
この構成により、乗り物が走行する前方の道路情報を容易に知ることができるので、乗り物に加わる挙動を予想することができる。
また、挙動検出部は、乗り物の左右、上下、前後の加速度、及び角速度のいずれか1つ以上を検出することが好ましい。
この構成により、乗り物の複合した挙動を検出できる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、背景映像の表示位置を変更することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、挙動が左折を示すときは右方向に、挙動が右折を示すときは左方向に、移動した背景映像を生成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、背景映像生成部は、縦のストライプ模様を背景映像として生成することが好ましい。
この構成により、背景映像となる縦のストライプ模様が左右に動くことにより、乗員は乗り物の右左への挙動を視覚情報として認識しやすくなる。
また、背景映像生成部は、挙動検出部によって検出された乗り物の挙動に応じて、挙動が左折を示すときは左回転、挙動が右折を示すときは右回転した背景映像を生成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、挙動検出部によって検出された乗り物の挙動に応じて、映像を台形変換することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、挙動検出部によって検出された乗り物の挙動に応じて、映像に対して、左端右端の拡大、縮小、上端下端の拡大、縮小のいずれか1つ以上を変更して台形変換することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、映像変形部は、映像を拡大又は縮小することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、合成部は、背景映像生成部が生成した背景映像を背景として、映像変形部が変形した映像を前景として合成することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また、合成部は、挙動検出部によって検出された乗り物の挙動に応じて、背景映像生成部が生成した背景映像と、映像変形部が変形した映像の表示位置を変更することが好ましい。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
また本発明の映像表示装置は、背景映像を生成する背景映像生成部を設定する背景映像設定部を更に備えることが好ましい。
この構成により、乗員に、背景映像設定部が生成する背景映像の表示位置を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、背景映像設定部は、背景映像の種類を選択することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像設定部が生成する背景映像の種類を設定することができる。
また、背景映像設定部は、挙動検出部によって検出された乗り物の挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを設定することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像の表示位置を変更することにより視覚誘導自己運動感覚の強弱を設定できる。
また、背景映像設定部は、挙動検出部によって検出された乗り物の挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部の表示位置によって変更して設定することが好ましい。
この構成により、乗員に、背景映像設定部は、背景映像の表示位置を変更することにより視覚誘導自己運動感覚の強弱を設定できる。
また、本発明の映像表示装置は、映像を変形する映像変形部を設定する映像変形設定部を更に備えることが好ましい。
この構成により、乗員に、映像変形設定部は、変形する映像の形状を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、映像変形部が変形する映像を台形、縮小、無変形のいずれかに設定することが好ましい。
この構成により、乗員に、映像変形設定部は、変形する映像の形状を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、映像変形部が変形する映像が台形に設定されている場合に、台形の形状、縮小率を設定することが好ましい。
この構成により、乗員に、映像変形設定部は、映像変形部が変形する台形の形状、縮小率を設定することにより視覚誘導自己運動感覚の強弱を設定できる。
また、映像変形設定部は、挙動検出部によって検出された乗り物の挙動に基づいて、映像を変形する際の変形の度合いを設定することが好ましい。
この構成により、乗員に、映像変形設定部は、映像変形部が変形する際の変形の度合いを設定することにより視覚誘導自己運動感覚の強弱を設定できる。
本発明の第2の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて移動する背景映像を生成する背景映像生成部と、映像を縮小する映像変形部と、背景映像生成部が生成した背景映像と映像変形部によって縮小された映像を合成する合成部と、合成部が合成した合成映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
本発明の第3の局面は、映像表示装置に向けられている。本発明は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて映像を変形する映像変形部と、映像変形部によって変形された映像を表示する表示部とを備える。
この構成により、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
また、本発明の乗り物は、上述した映像表示装置を備えることが好ましい。
この構成により、乗り物でTV等の映像を視聴しながら、乗員に対して視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。
以上のように本発明は、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減できる。更には、これにより動揺病の発生を減少させることができる。
以下、本発明の実施の形態の映像表示装置について、図面を用いて詳細に説明する。
(実施の形態1)
図1は、本発明の第1の実施の形態に係る映像表示装置の全体構成を示すブロック図である。図1において、映像表示装置は、乗り物の挙動を検出する挙動検出部101、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102、映像を生成する映像生成部103、挙動検出部101によって検出された挙動に基づいて映像生成部103が生成した映像を変形する映像変形部104、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105、合成部105が合成した合成映像を表示する表示部106、乗り物の経路誘導を行うナビゲーション部107、乗り物の周辺を撮像する撮像部108、背景映像生成部102を設定する背景映像設定部109、及び映像変形部104を設定する映像変形設定部110を備える。
挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、及び角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)のいずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
また、挙動検出部101は、運転手による乗り物に対する操作状態に基づいて乗り物の挙動を検出してもよい。例えば、ハンドル操作による右左折、ウインカー操作による右左折、ブレーキやエンジンブレーキによる減速、ハザードランプによる停止、アクセルによる加速等の車両操縦状態いずれかを使って、乗り物の左右、加減速のうち少なくとも1つが検出される。
また、ナビゲーション部107は、一般的なナビゲーション装置、すなわち現在位置を取得するGPS(Global Positioning System)受信機、地図情報を記憶するメモリ、目的地を設定する操作入力部、GPS受信機で受信した自車位置から入力された目的地までの推奨経路を算出して道路地図にマッチングする経路探索部、その推奨経路を道路情報と共に表示する表示部を備える。
挙動検出部101は、ナビゲーション部107によって出力された情報に基づいて、車両の右折、左折、加速、及び減速のうち少なくとも1つの挙動を検出してもよい。なお、挙動検出部101は、ナビゲーション部107が車両の経路誘導を行っているとき、ナビゲーション部107が誘導している経路についての道路情報をナビゲーション部107から取得してもよいし、また、ナビゲーション部107が車両の経路誘導を行っていないときは、車両の前方の道路情報を撮像部108から取得してもよい。ここで、挙動検出部101がナビゲーション部107から取得する道路情報としては、例えば、右左折の角度、直線道路の曲率、道路の傾斜角度、路面状態、道幅、信号機の有無、一方通行、進入禁止、一時停止、及び/又は右折レーンや左折レーンを走行中であるかである。
また、撮像部108は、カメラによって構成されており、車両の周辺、特に車両の走行方向前方を撮影するようになっている。
挙動検出部101は、撮像部108によって撮像され出力された映像情報に基づいて、画像処理を行って車両の走行方向前方の道路情報を取得し、車両の右折、左折、加速、および減速のうち少なくとも1つの挙動を検出してもよい。ここで、挙動検出部101が画像処理によって取得する道路情報は、挙動検出部101がナビゲーション部107から取得する道路情報と同様である。
また、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を有するコンピュータを乗り物に設置し、このコンピュータが、挙動検出部101として機能するようにしてもよい。
背景映像生成部102は、挙動検出部101によって検出された乗り物の加減速、及び/又は角速度によって背景映像を生成する。
映像生成部103は、テレビ受信機やDVD(Digital Versatile Disc)プレイヤー、ムービー、ゲーム等の映像を出力する装置によって構成されている。
映像変形部104は、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像生成部103が生成した映像を変形する。本実施の形態では、映像を縮小する。
合成部105は、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する。映像変形部104が変形した映像は前面に、背景映像生成部102が生成した背景映像は背景になるように合成する。
表示部106は、液晶、CRT、有機EL、プラズマ等のディスプレイやスクリーンに映像を映すプロジェクタやヘッドマウントディスプレイ、及びヘッドアップディスプレイのうち、いずれか1つ以上により構成される。
また、表示部106は、運転手以外の乗員が見ることができる位置、例えば車両の後部座席や天井等に設けられていてもよい。勿論、運転手も見ることができる位置に設けられてもよいが、乗員が優先して見ることができる位置に設けられることが好ましい。
背景映像設定部109は、背景映像生成部102が生成する背景映像の種類を選択する、例えば、キーボード、又はタッチパネルである。
また背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像生成部102が生成する背景映像の表示位置を変更する際の変更度合いを設定する。
また背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部106の表示位置によって変更して設定する。
映像変形設定部110は、映像変形部104が変形する映像を台形、縮小、無変形のいずれかに設定するする、例えば、キーボード、又はタッチパネルである。
また映像変形設定部110は、映像変形部104が変形する台形の形状、縮小率を設定する。
また映像変形設定部110は、挙動検出部101によって検出された挙動に基づいて映像を変形する際の変形の度合いを設定する。
以上のように構成された映像表示装置について、図2を用いてその動作を説明する。図2は、表示部106が表示するときの表示例であり、映像201と背景映像202からなる。映像201は、映像変形設定部110で縮小するように映像変形部104を設定した場合に、映像変形部104により縮小された映像である。この例では、挙動検出部101の出力する挙動によらず一定に縮小されたままとする。映像201は映像が見えやすく、且つ背景映像202(図2では縦のストライプ模様)が見える程度に縮小される。
背景映像202は、背景映像設定部109で縦のストライプ模様を生成するように背景映像生成部102を設定した場合に、挙動検出部101の挙動に応じて背景映像生成部102が出力した背景映像である。
背景映像202は、図2のように縦のストライプ模様でもよいし、写真のような静止画でもよい。背景映像202が移動したときに、移動したことを乗員が認識できればよい。背景映像202は、挙動検出部101の挙動に応じて表示位置が左方向、あるいは右方向に移動する。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像202は、右方向に移動する。なお、逆に挙動検出部101が右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像202は、左方向に移動する。
動揺病は視覚刺激によっても誘起される。例えば、激しい動きのある映画を見た時にシネラマ酔いが生じる。また、視覚刺激については、視覚刺激により自分が回転しているという自己運動の感覚、すなわち視覚誘導自己運動感覚(ベクション)が発生する。例えば、回転ドラムの中央に観察者を配置してドラムを回転させると、自分がドラムの回転の逆方向に回転していると感じ始める視覚誘導自己運動感覚が発生する。乗り物の挙動に応じて背景映像を移動させることで、乗員に視覚誘導自己運動感覚を積極的に与えることにより、無意識のうちに視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致する。そのため、従来の「減速します」、「右に曲がります」等の音声を流したり、右折する場合は右方向の矢印を表示する場合に比べて、動揺病の発生を減少させることができると考えられる。
図3は、乗り物がカーブを走行中に発生する角速度、遠心方向の加速度を説明するための図である。乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが、また加速度計により遠心方向に発生する加速度αが算出できる。このとき背景映像生成部102の出力する背景映像の移動速度をuとすると、uは式1の様に、ωとαの関数で表される。ここで、関数Func1は背景映像設定部109で設定できる。
u=Func1(ω、α) 式1
ここでαとωには式2の関係がある。
α=R×ω2 式2
なお角速度ω、加速度αはそれぞれ角速度計、加速度計により測定可能なので式2から半径Rは式3で算出できる。
R=α/ω2 式3
なお、
v=R×ω 式4
の関係がある。
これより式1は変数を置換して、式5のようにuはωとRの関数Func2で表すことができる。
u=Func2(ω、R) 式5
ここで半径Rを一定とすると、式5は挙動検出部101が出力する角速度ωと、背景映像生成部102の出力する背景映像の移動速度uとの関係として、図4に示される。ωは乗り物の左方向の回転を正で示し、右方向の回転が負で示す。uは乗り物の右方向に移動する場合を正で示し、左方向に移動する場合を負で示す。図4の401は、ωが正方向に大きいときすなわち左回転するときに、uが正方向に大きくすなわち背景映像の移動速度を右方向に大きくしている。ωが負方向に大きいとき、すなわち、右回転するときに、uが負方向に大きく、すなわち、背景映像の移動速度を左方向に大きくしている。402は、ωに対してuの移動速度が大きく変化し、また403はωに対してuの移動速度が小さく変化している例である。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また、式5は図5の様に表すこともできる。図4ではωとuの関係が直線的だったが、501では、ωの絶対値が小さい場合は、uはあまり変化がなく、ωの絶対値が大きいところで、uの絶対値は飽和している。502は501に対して、ωに対するuの変化を大きくした場合で、逆に503はωに対してuの変化を小さくした場合の例である。このように、501、502、503ではωとuの関係を非線形にし、ωが大きくなってもuが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても背景映像の移動速度uが一定値に保たれ、背景映像が見え辛くなることはない。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式2よりRに比例してαが大きくなるため、式5は図6のように表すことができる。601を基準の半径Rとした場合、602は601よりRが大きいので、ωに対するuの移動速度の変化を大きく、また603のように601よりRが小さいときは、同じωではuの移動速度の変化は小さくした場合の例である。これらの関係は式5の関数Func2で設定できるものである。このように関数Func2の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお図5の場合と同様に、ωとuの関係は直線的ではなく、ωの絶対値が小さい場合は、uはあまり変化がなく、ωの絶対値が大きいところで、uの絶対値は飽和するようにしてもよい。
なお、Rが変化した場合、図2の背景映像202は遠心方向に発生する加速度αの影響を考慮して、図7の702のように、回転させてもよい。すなわち背景映像生成部102は、挙動検出部101によって検出された角速度に応じ、角速度が左折を示すときは左回転(反時計回り)、角速度が右折を示すときは右回転(時計回り)した背景映像702を生成してもよい。ここでRが大きくなるにつれて、回転角度を大きくする。ただし、縦のストライプ模様が水平方向にならない程度に制限する。背景映像702の回転は、uの移動速度で移動しながらでもよいし、回転のみでもよい。
なお、乗員から表示部106までの距離をLとしたときに、背景映像生成部102が出力する背景映像の移動する角速度をω0とすると、uは、L、ω0を使って、式6で表
すことができる。
u=L×ω0 式6
次に、映像表示装置の動作を図8のフローチャートに基づいて説明する。まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS801)。例えば、挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS801で検出した乗り物の現在の挙動に応じて、背景映像設定部109の設定に応じて背景映像生成部102が、背景映像の表示位置を変更する(ステップS802)。背景映像の表示位置を変更する背景の移動速度uは、式5、式6および図4、図5、図6で表される。
次いで、映像生成部103が生成した映像を映像変形部104で変形する(ステップS803)。本実施の形態では、映像変形設定部110が縮小を設定しているとする。そして、ステップS802による背景映像と、ステップS803による映像を合成部105で合成する(ステップS804)。ステップS803で映像変形部104が変形した映像は前面に、ステップS802で背景映像生成部102が生成した背景映像は背景になるように合成する。
次いで、合成部105で合成した映像を表示部106で表示する(ステップS805)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップS801に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS806)。ここで、動作モードは、この映像表示装置の背景映像を表示させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の縮小や背景映像の表示はされない。
なお、映像変形部104が出力する映像は縮小でなく、映像生成部103の出力する映像の一部を切り出して表示しても構わない。
なお、背景映像生成部102が出力する背景映像の移動速度uは式5ではωとRの関数であったが、式5を簡易化してRによらずωだけの関数とみなしてもよい。
なお、背景映像生成部102で表示位置を変更する背景映像を生成したが、代わりに、背景映像生成部102で生成する背景映像は同一のままで、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105で合成する位置を変更してもよい。
なお、挙動検出部101である角速度センサーにより角速度ωを算出したが、ナビゲーション部107より角速度ωを算出してもよく、また、別の方法としては、撮像部108により撮像された走行方向前方の映像を画像処理することにより角速度ωを算出してもよい。
本発明の第1の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。
(予備実験その1)
目的:背景映像生成部102の出力する背景映像202の移動する角速度をω0とした際に、挙動検出部101が検出する乗り物のヨー方向の角速度ωと、ω0との関係を算出するために、まず乗り物が交差点を曲がる際のヨー方向の角速度ωを計測する。
実験方法:車で市街地を、制限速度を守って20分間走行し、角速度計でωを算出した。
実験結果:結果を図9に示す。図9(a)において、901は20分間の走行中の角速度を示している。横軸は時間、縦軸は角速度である。図9(b)において、902は20分間の走行中の代表的な交差点について抜き出したものである。横軸は時間、縦軸は角速度である。90度の交差点を曲がる時間は平均するとおおよそ6秒程度、最大の角速度は30[deg/s]程度であった。
(予備実験その2)
目的:挙動検出部101が検出する乗り物のヨー方向の角速度ωと、背景映像生成部102の出力する背景映像の移動する角速度ω0との関係を算出する。
実験方法:三重大学工学部の暗室に設置されたコリオリ刺激装置(回転装置)を使用した。予備実験その1の結果に基づき図9(b)の902を模擬した回転をコリオリ刺激装置で発生させ、被験者を、6秒間、最大角速度を30[deg/s]で、90度回転させた。
回転した角速度ω[deg/s]に応じて、11インチのTVに図2に示す背景映像202を角速度ω0[deg/s]で移動した。被験者とディスプレイの距離は約50[cm]だった。被験者には、平衡感覚で感じるコリオリ刺激装置の角速度ωと、視覚から感じるω0が一致するようにω0を設定させた。被験者は、20歳前後の健康な男女であり、試行数は40回であった。
実験結果:結果を図10のヒストグラムに示す。ω0とωの比をRatio1とすると式7で表される。横軸はRatio1、縦軸はRatio1を示した人数である。
Ratio1 =ω0/ω 式7
Ratio1の平均値は、0.47であった。標準偏差は、0.17であった。
(本実験その1)
目的:本発明の第1の実施の形態の映像表示装置の効果を実車実験で確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第1の実施の形態条件の3条件で比較を行った。普通条件では、特別な制約やタスクは課さなかった。TV視聴条件、第1の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第1の実施の形態条件では、予備実験その2の結果を利用して、ω0の速度を決定した。なお、11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて168試行の実験を行った。普通の条件は53試行、TV視聴条件は53試行、第1の実施形態条件は62試行であった。
実験結果:結果を図11に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図11は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第1の実施の形態条件は、不快感がやや下がっていることが確認できた。
(本実験その2)
目的:本発明の第1の実施の形態の映像表示装置の効果を実車実験で確認する。本実験その1では、実験後に複数の被験者から背景映像の移動する角速度ω0が早いために逆に不快感が増大したとの意見があった。このためω0を遅くして実車実験で効果を確認する。
実験方法:TVの映像を注視しているため、TVに撮像される映像の水平画角が有効視野の水平視角程度に相当すると考え、TV映像の水平視角を90度とみなして換算したときに車の動きの角速度ωと一致するように、ω0を調整した。本実験その1の半分程度の速度であった。更に回転している効果を付与するために、背景映像生成部102の出力する背景映像に円筒の効果をつけた。図12に示すように背景映像1202は、等間隔、等幅の縦のストライプ模様の円筒を回転し、円筒の中心から撮影した映像とした。こうすることで、表示画面の中心部分では遅く動き、左右端は早い動きになる。すなわち、背景映像設定部109は、挙動検出部101によって検出された挙動に基づいて背景映像の表示位置を変更する際の変更の度合いを表示部106の表示位置によって変更して設定するようになっている。今回の実験に係る第1の実施の形態条件は、試行数は24試行であった。その他の条件は、本実験その1と同様である。
実験結果:本実験その1の普通条件、TV視聴条件と、今回の実験結果を図13に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。TV視聴条件に比べて、本実験その2の第1の実施の形態は、不快感が大きく下がっていることが確認できた。
このように、本発明の第1の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部104が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる映像表示装置を提供することができる。
(実施の形態2)
本発明の第2の実施の形態の映像表示装置を図1に示す。本発明の第2の実施の形態は、実施の形態1に比べて、背景映像設定部109の動作と、背景映像生成部102の動作と、映像変形設定部110の動作と、映像変形部104の動作が異なる。
背景映像設定部109は、背景映像生成部102が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって背景映像を生成するように設定する。本実施の形態では、背景映像設定部109が、背景映像生成部102に対して、背景映像として黒画を生成するように設定している。背景映像は、黒画でなくともブルーバック等の単一色画像や静止画でもかまわない。
映像変形設定部110は、映像変形部104が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって映像生成部103が生成した映像を変形するように設定する。本実施の形態では、映像変形設定部110が、映像変形部104に対して、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。その他の構成は第1の実施の形態と同様であるので説明を省略する。
以上のように構成された映像表示装置について、その動作を説明する。図14(a)は、表示部106が表示するときの表示例である。映像1401は、映像変形部104により台形変形された映像である。この例では、挙動検出部101の出力する挙動に応じて映像を台形変換している。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像1401は、左端を縮小する。なお、逆に右方向の角速度を出力した場合は、すなわち、右方向に乗り物がカーブしている場合、映像変形部104が出力する映像は、右端を縮小する。背景映像1402は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、別の例として、図14(b)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する映像1403は、左端が縮小し、かつ上端下端を縮小する。なお、逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1403は、右側が縮小し、かつ上端下端を縮小する。1403は、映像の水平方向の中心を軸に水平回転していることに相当する。1404は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、別の例として、図14(c)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像1405は、左端が縮小、右端はそのまま、上端下端を縮小する。なお逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1405は、右端が縮小、左端はそのまま、上端下端を縮小する。映像1405は、映像の右端又は左端を軸に水平回転していることに相当する。背景映像1406は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
なお、図14(a)、(b)、(c)は、上下方向で対称的な台形変換を行っているが、別の例として図14(d)は、上下方向で非対称的な台形変換を行った例である。図14(d)は、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する1407は、左端を縮小している。なお、逆に右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、映像変形部104が出力する映像1407は、右側が縮小する。背景映像1408は、背景映像生成部102が出力した背景映像であり、黒画やブルーバックのような単一色画像や静止画でもよい。
以上のように映像変形設定部110は、映像変形部104に対して、乗り物の挙動に応じて映像の台形変換を設定できる。
次に、映像変形部104による台形変換の左端、右端の拡大、縮小について説明する。図3の様に乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが、また加速度計により遠心方向に発生する加速度αが算出できる。
このとき映像変形部104による台形変換に係る左端、右端の縮小は、左端h1と右端h2の割合をkとすると、kは式8の様に、ωとαの関数で表される。この関数は映像変形設定部110で設定できる。ただし、kは正の値に制限するものとする。
k=h2/h1=Func3(ω、α) 式8
ここで、αとωには式9の関係がある。
α=R×ω2 式9
これより式8は変数を置換して、式10のようにkはωとRの関数Func4で表すことができる。
k=Func4(ω、R) 式10
ここで半径Rを一定とすると、式10は挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る左端h1と右端h2の割合kとの関係として、図15に示される。ωは乗り物の左方向の回転が正を示し、乗り物の右方向の回転が負を示す。kは右端が左端より大きい場合に1より大きく、右端が左端より縮小する場合に1より小さい。図15の1501は、ωが正方向に大きいときすなわち左回転するときに、kが1より大きくすなわち右端が左端より大きくしている。ωが負方向に大きいとき、すなわち、右回転するときに、kが1より小さくすなわち右端が左端より縮小している。1502は、ωに対してkが大きく変化し、また1503はωに対してkが小さく変化している例である。これらの関係は式10の関数Func4で設定できるものである。このように関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また、式10は図16の様に表すこともできる。図15ではωとkの関係が直線的だったが、1601では、ωの絶対値が小さい場合は、kはあまり変化がなく、ωの絶対値が大きいところで、kの絶対値は飽和している。1602は1601に対して、ωに対するkの変化を大きくした場合で、逆に1603はωに対してkの変化を小さくした場合の例である。このように、1601、1602、1603では、ωとkの関係を非線形にし、ωが大きくなってもkが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても左端と右端の割合kが一定値に保たれ、映像が見え辛くなることはない。これらの関係は式10の関数Func4で設定できるものである。このように関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式9よりRに比例してαが大きくなるため、式10は図17のように表すことができる。1701を基準の半径Rとした場合、1702は1701よりRが大きいので、ωに対するkの変化を大きく、また、1703のように1701よりRが小さいときは、同じωではkの変化は小さくした場合の例である。これらの関係は式10の関数Func4で設定できるものである。このように、関数Func4の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお、図16の場合と同様に、ωとkの関係は直線的ではなく、ωの絶対値が小さい場合は、kはあまり変化がなく、ωの絶対値が大きいところで、kの絶対値は飽和するようにしてもよい。
次に、台形変換について図18を用いて説明する。映像変形部104の台形変換に係る回転角度をθとすると、図14(b)は図18(a)で表すことができる。図18(a)において、1801は表示部106、1802は挙動検出部101が出力する角速度が0、すなわち乗り物がまっすぐ進んでいる場合に、映像変形部104が出力した映像であり、1803は挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力した映像である。1804は、映像の水平方向の中心の軸を表している。このとき、映像変形部104の台形変化は、コンピュータグラフィックスに係る仮想カメラと仮想スクリーンの概念で表すことができる。すなわち、図18(b)のように、仮想カメラから仮想スクリーンまでの距離をLs、仮想スクリーンの水平方向の半分の長さをLhとすると、LsがLhより大きいとき、式10は式11で表すことができる。ここで1805、1806は仮想スクリーンであり、1805、1806はそれぞれ映像1803、1802を真上から見下ろしたことに相当し、1807は仮想カメラを表している。なお仮想カメラによって撮像される映像の水平画角をφとすると、φはLs又はLhの長さを変更することで、変更することができる。
k=h2/h1=(Ls+Lh×sinθ)/(Ls−Lh×sinθ)
=(1+Lh/Ls×sinθ)/(1−Lh/Ls×sinθ) 式11
ここで式12の関係があるとき、
Lh/Ls×sinθ<<1 式12
式11は、式13に近似できる。
k≒1+2×Lh/Ls×sinθ 式13
式13により図15は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係により表現することができる。
次に、映像変形部104による台形変換の上端下端の拡大、縮小について説明する。図3の様に乗り物301が、半径Rのカーブを速度vで図上方に進んでいるとする。このとき挙動検出部101である角速度計により角速度ωが算出される。また加速度計により遠心方向に発生する加速度αが算出される。
このとき映像変形部104による台形変換において、台形変換前に対する台形変換後の上端下端の長さの比をmとすると、mは式14の様に、ωとαの関数Func5で表される。ただし、mは正の値に制限するものとする。
m=台形変換後の上端下端の長さ/台形変換前の上端下端の長さ
=Func5(ω、α) 式14
ここでαとωには式15の関係がある。
α=R×ω2 式15
これより式14は変数を置換して、式16のようにmはωとRの関数で表すことができ
る。
m=Func6(ω、R) 式16
式16は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換前後に係る上端下端の比mとの関係として、図19に示される。ωは乗り物の左方向の回転が正で乗り物の右方向の回転が負、mは上端下端が縮小する場合は1より小さい。図19の1901は、ωが正方向に大きいとき、すなわち、左回転するときに、mが1より小さく、上端下端が縮小している。ωが負方向に大きいとき、すなわち、右回転するときに、mが1より小さく、上端下端が縮小している。1902は、ωに対してmが大きく変化し、また1903はωに対してmが小さく変化している例である。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
また式16は図20の様に表すこともできる。図19ではωとmの関係が直線的だったが、2001では、ωの絶対値が小さい場合は、mはあまり変化がなく、ωの絶対値が大きいところで、mの絶対値は飽和している。2002は2001に対して、ωに対するmの変化を大きくした場合で、逆に2003はωに対してmの変化を小さくした場合の例である。このように、2001、2002、2003ではωとmの関係を非線形にし、ωが大きくなっても、mが一定値で飽和するようにした。これにより、乗り物が急にカーブしてωが急に大きくなっても台形変換前に対する台形変換後の上端下端のmが一定値に保たれ、映像が見え辛くなることはない。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。
なお、Rが変化した場合、式15よりRに比例してαが大きくなるため、式16は図21のように表すことができる。2101を基準のRとした場合、2102は2101よりRが大きいので、ωに対するmの変化を大きく、また2103のように2101よりRが小さいときは、同じωではmの変化は小さくした場合の例である。これらの関係は式16の関数Func6で設定できるものである。このように関数Func6の設定により、乗り物の挙動に応じた視覚誘導自己運動感覚を発生させる。なお図20の場合と同様に、ωとmの関係は直線的ではなく、ωの絶対値が小さい場合は、mはあまり変化がなく、ωの絶対値が大きいところで、mの絶対値は飽和するようにしてもよい。
また、台形変換の様子を図18で表すと、式16は式17で表すことができる。
m=Lh×cosθ/Lh=cosθ 式17
式17により図19は、挙動検出部101が出力する角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係により表現することができる。
次に、映像表示装置の動作を図22のフローチャートに基づいて説明する。
図22において、まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS2201)。例えば挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後、の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS2201で検出した乗り物の現在の挙動に応じて、背景映像生成部102が、背景映像設定部109の設定に応じて背景映像を生成する(ステップS2202)。本実施例では、黒画やブルーバック等の単一色画像や静止画で構わない。
次いで、映像生成部103が生成した映像を、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像変形部104で変形する(ステップS2203)。本実施の形態では、映像変形設定部110の設定に応じて、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
そして、ステップS2202による背景映像と、ステップS2203による映像を合成部105で合成する。ステップS2203で映像変形部が変形した映像は前面に、ステップS2202の背景映像生成部102が生成した背景映像は背景になるように合成する(ステップS2204)。
次いで、合成部105で合成した映像を表示する(ステップS2205)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップS2201に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS2206)。ここで、動作モードは、この映像表示装置の映像を変形させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の変形はされない。
なお、映像変形部104が変形する映像は、映像の全体が表示できるように、あらかじめ少し縮小した映像に対して台形変換しても構わない。この場合は、左端・右端の一端は拡大しても構わない。
なお、映像変形部104による台形変換において、台形変換による左端と右端の割合kは、式10ではωとRの関数だったが、式10を簡易化してRによらずωだけの関数とみなしてもよい。
なお、映像変形部104による台形変換において、台形変換前に対する台形変換後の上端下端の長さの比mは、式16ではωとRの関数だったが、式16を簡易化してRによらずωだけの関数とみなしてもよい。
なお、挙動検出部101である角速度センサーにより角速度ωを算出したが、ナビゲーション部107より角速度ωを算出しても良く、また、別の方法としては、撮像部108により撮像された走行方向前方の映像を画像処理することにより角速度ωを算出してもよい。
本発明の第2の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。
(予備実験その1)
目的:映像変形部104による台形変換に係る回転角度をθとした際に、挙動検出部101が検出する乗り物のヨー方向の角速度ωとθとの関係を算出するために、まず乗り物が交差点を曲がる際のヨー方向の角速度ωを計測する。
実験方法:車で市街地を、制限速度を守って20分間走行し、角速度形でωを算出した。本発明の第1の実施の形態に係る予備実験と同一の実験方法である。
実験結果:結果を図9に示す。本発明の第1の実施の形態に係る予備実験と同一結果である。
(予備実験その2)
目的:挙動検出部101が検出する乗り物のヨー方向の角速度ωと、映像変形部104による台形変換に係る回転角度θとの関係を算出する。
実験方法:三重大学工学部の暗室に設置されたコリオリ刺激装置(回転装置)を使用した。予備実験その1の結果に基づき図9の902を模擬した回転をコリオリ刺激装置で発生させ、被験者を6秒間、最大角速度を30[deg/s]で、90度回転させた。回転した角速度ω[deg/s]に応じて、11インチのTVに図18に示す映像1803を回転角度θ[deg]で回転させ台形変換した。被験者とディスプレイの距離は約50[cm]だった。被験者には、平衡感覚で感じるコリオリ刺激装置の角速度ωと、視覚から感じる回転角度θが一致するようにθを設定させた。被験者は、20歳前後の健康な男女であり、試行数は40回であった。
実験結果:結果を図23のヒストグラムに示す。θとωの比をRatio2とすると式18で表される。横軸はRatio2、縦軸はRatio2を示した人数である。
Ratio2 =θ/ω 式18
Ratio2の平均値は、0.94であった。標準偏差は、0.36であった。
(本実験)
目的:本発明の第2の実施の形態の映像表示装置の効果を実車実験で確認する
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第2の実施の形態条件の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験での、普通条件、TV視聴条件と同一である。第2の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第2の実施の形態条件では、予備実験その2の結果を利用して、θの角度を決定した。なお11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、第2の実施形態条件は66試行の実験を行った。
実験結果:結果を図24に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図24は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第2の実施の形態条件は、不快感が大きく下がっていることが確認できた。なおφは約30[deg]、60[deg]の2通り実験したが、不快感にはほとんど影響がなかった。
このように、本発明の第2の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる。
なお、本実施形態において、背景映像生成部102は黒画、ブルーバック等の単一色画像や静止画を生成して、映像変形部104によって変形された映像と合成部105により合成したが、あえて背景画像を生成して変形した画像と合成する必要はなく、背景映像生成部102、背景映像設定部109、合成部105については無い構成にしてもよい。この場合、映像変形部104の出力が直接、表示部106に入力されることになる。すなわち、その場合の映像表示装置は、乗り物の挙動を検出する挙動検出部と、挙動検出部によって検出された挙動に基づいて映像を変形する映像変形部と、映像変形部によって変形された映像を表示する表示部から構成され、同様の効果を生じる。
(実施の形態3)
本発明の第3の実施の形態の映像表示装置を図1に示す。本発明の第3の実施の形態は、実施の形態1、及び実施の形態2に比べて、背景映像設定部109の動作と、背景映像生成部102の動作と、映像変形設定部110の動作と、映像変形部104の動作が異なる。
背景映像設定部109は、背景映像生成部102が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって背景映像を生成するように設定する。本実施の形態では、背景映像設定部109が、背景映像生成部102に対して、背景映像として縦のストライプ模様を生成するようにしている。
すなわち、本実施の形態では、背景映像設定部109、背景映像生成部102は、実施の形態1の背景映像設定部109、背景映像生成部102の動作と同一である。
映像変形設定部110は、映像変形部104が、挙動検出部101によって検出された乗り物の加減速、又は角速度によって映像生成部103が生成した映像を変形するように設定する。本実施の形態では、映像変形設定部110が、映像変形部104に対して、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
すなわち本実施の形態では、映像変形設定部110、映像変形部104は、実施の形態2の映像変形設定部110、映像変形部104の動作と同一である。その他の構成は第1の実施の形態、第2の実施の形態と同様であるので説明を省略する。
以上のように構成された映像表示装置について、その動作を説明する。図25は、表示部106が表示するときの表示例である。映像2501は、映像変形部104により台形変形された映像である。この例では、挙動検出部101の出力する挙動に応じて映像を台形変換している。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、映像変形部104が出力する映像2501は、左端が縮小し、かつ上端下端を縮小する。なお逆に右方向の角速度を出力した場合、すなわち右方向に乗り物がカーブしている場合、映像変形部104が出力する映像2501は、右側が縮小し、かつ上端下端を縮小する。映像2501は、映像の水平方向の中心を軸に水平回転していることに相当する。
背景映像2502は、背景映像設定部109で縦のストライプ模様を生成するように背景映像生成部102を設定した場合に、挙動検出部101の挙動に応じて背景映像生成部102が出力した背景映像である。背景映像2502は、図25のように縦のストライプ模様でもよいし、写真のような静止画でもよい。背景映像が移動したときに、移動したことを乗員が認識できればよい。背景映像2502は、挙動検出部101の挙動に応じて表示位置が左方向、あるいは右方向に移動する。本実施の形態では、挙動検出部101が左方向の角速度を出力した場合、すなわち、左方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像2502は、右方向に移動する。なお、逆に挙動検出部101が右方向の角速度を出力した場合、すなわち、右方向に乗り物がカーブしている場合、背景映像生成部102が出力した背景映像2502は、左方向に移動する。
また表示例として、図26に示すように、背景映像設定部102で設定する縦のストライプ模様を背景映像2602のようにしても構わない。背景映像2602は回転している効果を付与するために、背景映像生成部102の出力する背景映像に円筒の効果をつけた。背景映像2602は、等間隔、等幅の縦のストライプ模様の円筒を回転し、円筒の中心から撮影した映像とした。
次に、映像表示装置の動作を図27のフローチャートに基づいて説明する。図27において、まず、挙動検出部101によって乗り物の現在の挙動を検出する(ステップS2701)。例えば挙動検出部101は、速度センサーによる加減速、加速度センサーによる加減速、角速度センサーによる角速度(ピッチング、ローリング、ヨーイング)等いずれかを使って、乗り物の上下、左右、前後の加速度、及び角速度のいずれか1つ以上を検出する。
次いで、ステップS2701で検出した乗り物の現在の挙動に応じて、背景映像設定部109の設定に応じて背景映像生成部102が、背景映像の表示位置を変更する(ステップS2702)。
次いで、映像生成部103が生成した映像を、挙動検出部101によって検出された乗り物の加減速、あるいは角速度によって映像変形部104で変形する(ステップS2703)。本実施の形態では、映像変形設定部110の設定に応じて、乗り物の挙動に応じて映像の、左端右端の拡大・縮小、上端下端の拡大・縮小のいずれか1つ以上を変更して台形変換を行う。
そして、ステップS2702による背景映像と、ステップS2703による映像を合成部105で合成する。ステップS2703で映像変形部104が変形した映像は前面に、ステップ2702で背景映像生成部102が生成した背景映像は背景になるように合成する(ステップS2704)。
次いで、合成部105で合成した映像を表示部106で表示する(ステップS2705)。そして、映像表示装置が動作モードか否か判断され、動作モードなら、ステップ2701に戻り処理を続行し、動作モードでない場合は処理を終了する(ステップS2706)。ここで、動作モードは、この映像表示装置の映像を変形したり背景映像を表示させる機能を有効にしているか否かのスイッチであり、動作させていない場合は、普通の映像が映っていることになり、映像の変形や背景映像の表示はされない。
本実施の形態では、第1の実施の形態、第2の実施の形態の相乗効果を狙ったものである。
本発明の第3の実施の形態の実車実験を行って確認した映像表示装置の効果を以下に示す。予備実験としては、第1の実施の形態での予備実験その1、予備実験その2、及び第2の実施の形態での予備実験その1、予備実験その2の結果を利用した。
(本実験その1)
目的:本発明の第3の実施の形態の映像表示装置の効果を実車実験で確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第3の実施の形態条件の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験での、普通条件、TV視聴条件と同一である。第3の実施の形態条件では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第3の実施の形態条件では、第2の実施の形態に係る予備実験その2の結果を利用して、θの角度を決定した。またω0は、第1の実施の形態に係る本実験その1の結果を利用して決定した。なお11インチのTVは、解像度水平800ドット、水平480ドット、幅244mm、縦138mm、対角280mmであり、映像は、幅205mm、縦115mmに縮小して表示した。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、第3の実施形態条件は67試行の実験を行った。
実験結果:結果を図28に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図28は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第3の実施の形態条件は、不快感がやや下がっていることが確認できた。第1の実施の形態条件に係る本実験その1よりも、不快感がやや下がっていることが確認できた。
(本実験その2)
目的:本発明の第3の実施の形態の映像表示装置の効果を実車実験で確認する。本実験その1では、実験後に複数の被験者から背景映像の移動する角速度ω0が早いために逆に不快感が増大したとの意見があった。このためω0を遅くして実車実験で効果を確認する。
実験方法:実車実験は、被験者に対する実験の目的・手順・起こり得る影響等の十分な説明と、書面による被験者の事前同意を得て行った。4列シートの10人乗りバンの2列目シート、3列目シート、4列目シートに被験者を座らせて実車実験を行った。効果を確認するために、TVを見ない普通条件、TVを見るTV視聴条件、第3の実施の形態条件(本実験その2)の3条件で比較を行った。普通条件、TV視聴条件は、本発明の第1の実施の形態に係る本実験に係る、普通条件、TV視聴条件と同一である。第3の実施の形態条件(本実験その2)では、前席のヘッドレストの位置で被験者の約60[cm]前方に11インチのTVを取り付け、映画を視聴させた。第3の実施の形態条件(本実験その2)では、第2の実施の形態に係る予備実験その2の結果を利用して、θの速度を決定した。またω0は、第1の実施の形態に係る本実験その2の結果を利用して決定した。更に回転している効果を付与するために、第1の実施の形態に係る本実験その2と同様に、背景映像生成部102の出力する背景映像に円筒の効果をつけた。乗車時間は21分間で、カーブの多い信号のない道を走行した。
車酔い不快感は、1分毎に0(不快感なし)から10(強度の不快感。受忍限界)までの11段階の評定尺度法による主観的評価で行った。被験者には20歳前後の健康男女を用いて、今回の実験に係る第3の実施形態条件(本実験その2)は23試行の実験を行った。
実験結果:結果を図29に示す。あらかじめ、評定尺度と距離尺度は比例の関係にあることを確認済みであるため、図29は各条件の不快感の平均値を示している。横軸は、乗車時間、縦軸は不快感である。普通条件に比べて、TV視聴条件では大きく不快感が上がっている。TV視聴条件に比べて、第3の実施の形態条件(本実験その2)は、不快感が大きく下がっていることが確認できた。第1の実施の形態条件に係る本実験その2よりも、不快感がやや下がっていることが確認できた。
このように、本発明の第3の実施の形態の映像表示装置によれば、乗り物の挙動を検出する挙動検出部101と、挙動検出部101によって検出された挙動に基づいて背景映像を生成する背景映像生成部102と、挙動検出部101によって検出された挙動に基づいて映像を変形する映像変形部104と、背景映像生成部102が生成した背景映像と映像変形部が変形した映像を合成する合成部105と、合成部105が合成した合成映像を表示する表示部106とを設けることにより、乗員が乗り物でTV等の映像を視聴しながら、視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えられることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報とを一致させることで、乗員の負担を低減し、動揺病の発生を減少させることができる。
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
以上のように、本発明にかかる映像表示装置は、乗り物でTV等の映像を視聴しながら、乗員に対して視覚から自分の体が動いている感覚(視覚誘導自己運動感覚)を与えることにより、視覚情報と乗り物の動きによる前庭情報、特に三半規管によって検出される回転感覚や体性感覚情報と一致させることで、乗員の負担を低減できるという効果を有し、乗員の乗り物酔いを防止する乗り物酔い防止装置等として有用である。
本発明の第1の実施の形態に係る映像表示装置の全体構成を示すブロック図 本発明の第1の実施の形態に係る表示部の表示例を示す図 本発明の第1の実施の形態において乗り物がカーブを走行中に発生する角速度、遠心方向の加速度を説明するための図 本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係を示す図 本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係の他の例を示す図 本発明の第1の実施の形態に係る挙動検出部が出力する角速度ωと背景映像生成部の出力する背景映像の移動速度uとの関係を示す図 本発明の第1の実施の形態に係る表示部の他の表示例を示す図 本発明の第1の実施の形態に係る映像表示装置の動作の流れを示すフローチャート (a)本発明の第1の実施の形態において車が走行中のヨー方向の角速度の実験結果を示す図、(b)本発明の第1の実施の形態において車が代表的な交差点を走行中のヨー方向の角速度の実験結果を示す図 本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第1の実施の形態に係る表示部の表示例を示す図 本発明の第1の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第2の実施の形態に係る表示部の表示例を示す図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係を示す図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係の他の例を示す図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換に係る左端と右端の割合kとの関係を示す図 本発明の第2の実施の形態において映像変形部が映像を台形変換するときの方法を説明するための図で、(a)表示部を正面から見たときの図、(b)表示部を上から見たときの図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係を示す図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係の他の例を示す図 本発明の第2の実施の形態に係る挙動検出部が出力する角速度ωと映像変形部による台形変換前後に係る上端下端の比mとの関係を示す図 本発明の第2の実施の形態に係る映像表示装置の動作の流れを示すフローチャート 本発明の第2の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第2の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第3の実施の形態に係る表示部の表示例を示す図 本発明の第3の実施の形態に係る表示部の他の表示例を示す図 本発明の第3の実施の形態に係る映像表示装置の動作の流れを示すフローチャート 本発明の第3の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図 本発明の第3の実施の形態に係る映像表示装置の効果説明のための実験結果を示す図
符号の説明
101 挙動検出部
102 背景映像生成部
103 映像生成部
104 映像変形部
105 合成部
106 表示部
107 ナビゲーション部
108 撮像部
109 背景映像設定部
110 映像変形設定部
201、1401、1403、1405、1407、1802、1803、2501 映像
202、702、1202、1402、1404、1406、1408、2502、2602 背景映像
301 乗り物
401、402、403、501、502、503、601、602、603 角速度と背景映像の移動速度の関係
901、902 角速度
1501、1502、1503、1601、1602、1603、1701、1702、1703 角速度と右端と左端の比の関係
1801 表示部
1804 中心軸
1805、1806 仮想スクリーン
1807 仮想カメラ
1901、1902、1903、2001、2002、2003、2101、2102、2103 角速度と台形変換前後に係る上端下端の比の関係

Claims (26)

  1. 乗り物の挙動を検出する挙動検出部と、
    前記挙動検出部によって検出された挙動に基づいて背景映像を生成する背景映像生成部と、
    前記挙動検出部によって検出された乗り物の挙動に基づいて映像を変形する映像変形部と、
    前記背景映像生成部が生成した背景映像と前記映像変形部によって変形された映像を合成する合成部と、
    前記合成部が合成した合成映像を表示する表示部とを備える、映像表示装置。
  2. 前記挙動検出部は、速度センサー、加速度センサー、及び角速度センサーのうちの少なくとも1つの信号を用いて前記乗り物の挙動を検出することを特徴とする、請求項1に記載の映像表示装置。
  3. 前記挙動検出部は、前記乗り物の運転手による乗り物に対する操作状態に基づいて乗り物の挙動を検出することを特徴とする、請求項1に記載の映像表示装置。
  4. 前記挙動検出部は、前記乗り物の外部環境を撮像する撮像部の出力に基づいて前記乗り物の挙動を検出することを特徴とする、請求項1に記載の映像表示装置。
  5. 前記挙動検出部は、前記乗り物の経路誘導を行うナビゲーション部の出力に基づいて前記乗り物の挙動を検出することを特徴とする、請求項1に記載の映像表示装置。
  6. 前記挙動検出部は、前記乗り物の左右、上下、前後の加速度、及び角速度のいずれか1つ以上を検出することを特徴とする、請求項1に記載の映像表示装置。
  7. 前記背景映像生成部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記背景映像の表示位置を変更することを特徴とする、請求項1に記載の映像表示装置。
  8. 前記背景映像生成部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記挙動が左折を示すときは右方向に、前記挙動が右折を示すときは左方向に、移動した背景映像を生成することを特徴とする、請求項1又は7に記載の映像表示装置。
  9. 前記背景映像生成部は、縦のストライプ模様を背景映像として生成することを特徴とする、請求項8に記載の映像表示装置。
  10. 前記背景映像生成部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記挙動が左折を示すときは左回転、前記挙動が右折を示すときは右回転した前記背景映像を生成することを特徴とする、請求項1に記載の映像表示装置。
  11. 前記映像変形部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記映像を台形変換することを特徴とする、請求項1に記載の映像表示装置。
  12. 前記映像変形部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記映像に対して、左端右端の拡大、縮小、上端下端の拡大、縮小のいずれか1つ以上を変更して台形変換することを特徴とする、請求項11に記載の映像表示装置。
  13. 前記映像変形部は、前記映像を拡大又は縮小することを特徴とする、請求項1に記載の映像表示装置。
  14. 前記合成部は、前記背景映像生成部が生成した前記背景映像を背景として、前記映像変形部が変形した前記映像を前景として合成することを特徴とする、請求項1に記載の映像表示装置。
  15. 前記合成部は、前記挙動検出部によって検出された前記乗り物の挙動に応じて、前記背景映像生成部が生成した前記背景映像と、前記映像変形部が変形した前記映像の表示位置を変更することを特徴とする、請求項14に記載の映像表示装置。
  16. 前記背景映像を生成する前記背景映像生成部を設定する背景映像設定部を更に備えることを特徴とする、請求項1に記載の映像表示装置。
  17. 前記背景映像設定部は、前記背景映像の種類を選択することを特徴とする、請求項16に記載の映像表示装置。
  18. 前記背景映像設定部は、前記挙動検出部によって検出された前記乗り物の挙動に基づいて前記背景映像の前記表示位置を変更する際の変更の度合いを設定することを特徴とする、請求項16又は17に記載の映像表示装置。
  19. 前記背景映像設定部は、前記挙動検出部によって検出された前記乗り物の挙動に基づいて前記背景映像の前記表示位置を変更する際の変更の度合いを前記表示部の表示位置によって変更して設定することを特徴とする、請求項18に記載の映像表示装置。
  20. 前記映像を変形する前記映像変形部を設定する映像変形設定部を更に備えたことを特徴とする、請求項1に記載の映像表示装置。
  21. 前記映像変形設定部は、前記映像変形部が変形する映像を台形、縮小、無変形のいずれかに設定することを特徴とする、請求項20に記載の映像表示装置。
  22. 前記映像変形設定部は、前記映像変形部が変形する映像が台形に設定されている場合に、台形の形状、縮小率を設定することを特徴とする、請求項21に記載の映像表示装置。
  23. 前記映像変形設定部は、前記挙動検出部によって検出された前記乗り物の挙動に基づいて、前記映像を変形する際の変形の度合いを設定することを特徴とする、請求項20に記載の映像表示装置。
  24. 乗り物の挙動を検出する挙動検出部と、
    前記挙動検出部によって検出された挙動に基づいて移動する背景映像を生成する背景映像生成部と、
    映像を縮小する映像変形部と、
    前記背景映像生成部が生成した背景映像と前記映像変形部によって縮小された映像を合成する合成部と、
    前記合成部が合成した合成映像を表示する表示部とを備える、映像表示装置。
  25. 乗り物の挙動を検出する挙動検出部と、
    前記挙動検出部によって検出された挙動に基づいて映像を変形する映像変形部と、
    前記映像変形部によって変形された映像を表示する表示部とを備える、映像表示装置。
  26. 請求項1〜25のいずれかに記載の映像表示装置を備えることを特徴とする、乗り物。
JP2007555980A 2006-01-25 2007-01-24 映像表示装置 Pending JPWO2007086431A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006015915 2006-01-25
JP2006015915 2006-01-25
PCT/JP2007/051093 WO2007086431A1 (ja) 2006-01-25 2007-01-24 映像表示装置

Publications (1)

Publication Number Publication Date
JPWO2007086431A1 true JPWO2007086431A1 (ja) 2009-06-18

Family

ID=38309220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007555980A Pending JPWO2007086431A1 (ja) 2006-01-25 2007-01-24 映像表示装置

Country Status (4)

Country Link
US (1) US20090002142A1 (ja)
EP (1) EP1977931A4 (ja)
JP (1) JPWO2007086431A1 (ja)
WO (1) WO2007086431A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537203B2 (ja) * 2010-03-23 2014-07-02 株式会社 ミックウェア 情報通信システム、遊戯装置、画像表示方法、及びプログラム
US20110234750A1 (en) * 2010-03-24 2011-09-29 Jimmy Kwok Lap Lai Capturing Two or More Images to Form a Panoramic Image
JP5672942B2 (ja) * 2010-10-21 2015-02-18 富士通株式会社 映像表示装置、映像表示方法、及びプログラム
EP2505224A1 (en) * 2011-03-31 2012-10-03 Alcatel Lucent Method and system for avoiding discomfort and/or relieving motion sickness when using a display device in a moving environment
US9123143B2 (en) * 2011-08-11 2015-09-01 Aaron I. Krakowski System and method for motion sickness minimization using integration of attended and unattended datastreams
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US20140176296A1 (en) * 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
JP6108539B2 (ja) * 2013-04-19 2017-04-05 日本放送協会 接写映像生成装置及びそのプログラム
GB201310367D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9145129B2 (en) 2013-10-24 2015-09-29 Ford Global Technologies, Llc Vehicle occupant comfort
US10067341B1 (en) 2014-02-04 2018-09-04 Intelligent Technologies International, Inc. Enhanced heads-up display system
DE102014019579B4 (de) * 2014-12-30 2016-12-08 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
EP3099079A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method for displaying, in a vehicle, a content from 4d light field data associated with a scene
US9862312B2 (en) * 2016-04-06 2018-01-09 The Regents Of The University Of Michigan Universal motion sickness countermeasure system
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10543758B2 (en) * 2016-07-14 2020-01-28 International Business Machines Corporation Reduction of unwanted motion in vehicles
JP6799603B2 (ja) * 2016-09-14 2020-12-16 株式会社スクウェア・エニックス 映像表示システム及び映像表示方法、映像表示プログラム
DE102017213544A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zur Steuerung einer VR-Darstellung in einem Fortbewegungsmittel und VR-Darstellungseinrichtung
DE102017215641A1 (de) 2017-09-06 2019-03-07 Ford Global Technologies, Llc System zum Informieren eines Fahrzeuginsassen über eine bevorstehende Kurven-fahrt sowie Kraftfahrzeug
US11694408B2 (en) 2018-08-01 2023-07-04 Sony Corporation Information processing device, information processing method, program, and movable object
FR3086898B1 (fr) * 2018-10-05 2020-12-04 Psa Automobiles Sa Vehicule embarquant un systeme de projection lumineuse dans l’habitacle du vehicule
US20200120371A1 (en) * 2018-10-10 2020-04-16 Rovi Guides, Inc. Systems and methods for providing ar/vr content based on vehicle conditions
EP3930572A1 (en) 2019-02-27 2022-01-05 Starkey Laboratories, Inc. Hearing assistance devices with motion sickness prevention and mitigation features
KR20230041751A (ko) * 2020-07-23 2023-03-24 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 디스플레이 방법, 지능형 차량, 저장 매체, 및 장치
DE112021007014T5 (de) * 2021-04-09 2023-12-07 Mitsubishi Electric Corporation Bewegungsübelkeit-regulierungsvorrichtung, bewegungsübelkeit-regulierungsverfahren und bewegungsübelkeit-regulierungsprogramm
CN115278204A (zh) * 2022-07-27 2022-11-01 浙江极氪智能科技有限公司 显示装置使用方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02147446A (ja) * 1988-11-30 1990-06-06 Hitachi Ltd 車載用画像表示装置
US5155683A (en) * 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JPH08220470A (ja) * 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
WO2002056792A2 (en) * 2001-01-21 2002-07-25 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
JP2004224315A (ja) * 2002-11-25 2004-08-12 Nissan Motor Co Ltd 車載表示装置および携帯表示装置
JP2005294954A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 表示装置及び補助表示装置
WO2006001295A1 (ja) * 2004-06-23 2006-01-05 Matsushita Electric Industrial Co., Ltd. 車載用映像表示装置
WO2006006553A1 (ja) * 2004-07-14 2006-01-19 Matsushita Electric Industrial Co., Ltd. 報知装置
JP2006248450A (ja) * 2005-03-14 2006-09-21 Nissan Motor Co Ltd 車載情報提供装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002154350A (ja) 2000-11-20 2002-05-28 Akira Ishida 乗り物酔い防止装置
JP2003154900A (ja) 2001-11-22 2003-05-27 Pioneer Electronic Corp リアエンタテイメントシステム及びその制御方法
US7722526B2 (en) * 2004-07-16 2010-05-25 Samuel Kim System, method and apparatus for preventing motion sickness
US9795760B2 (en) * 2004-07-16 2017-10-24 Samuel Kim Motion sickness reduction
JP2006035980A (ja) * 2004-07-26 2006-02-09 Matsushita Electric Ind Co Ltd 乗り心地向上装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02147446A (ja) * 1988-11-30 1990-06-06 Hitachi Ltd 車載用画像表示装置
US5155683A (en) * 1991-04-11 1992-10-13 Wadiatur Rahim Vehicle remote guidance with path control
JPH08220470A (ja) * 1995-02-20 1996-08-30 Fujitsu General Ltd ヘッドマウントディスプレイ装置
WO2002056792A2 (en) * 2001-01-21 2002-07-25 University Of Washington Alleviating motion, simulator, and virtual environmental sickness by presenting visual scene components matched to inner ear vestibular sensations
JP2004224315A (ja) * 2002-11-25 2004-08-12 Nissan Motor Co Ltd 車載表示装置および携帯表示装置
JP2005294954A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 表示装置及び補助表示装置
WO2006001295A1 (ja) * 2004-06-23 2006-01-05 Matsushita Electric Industrial Co., Ltd. 車載用映像表示装置
WO2006006553A1 (ja) * 2004-07-14 2006-01-19 Matsushita Electric Industrial Co., Ltd. 報知装置
JP2006248450A (ja) * 2005-03-14 2006-09-21 Nissan Motor Co Ltd 車載情報提供装置

Also Published As

Publication number Publication date
WO2007086431A1 (ja) 2007-08-02
EP1977931A1 (en) 2008-10-08
EP1977931A4 (en) 2012-02-15
US20090002142A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
JPWO2007086431A1 (ja) 映像表示装置
US20190061655A1 (en) Method and apparatus for motion sickness prevention
CN100443334C (zh) 报告装置
JP2006035980A5 (ja)
JP5689872B2 (ja) 車両の周辺監視装置
WO2006001295A1 (ja) 車載用映像表示装置
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
KR102442811B1 (ko) 자동차에서 적어도 한 쌍의 가상 현실 안경을 작동하기 위한 방법 및 시스템
WO2019181233A1 (ja) 画像表示システム、情報処理装置、情報処理方法、プログラム、及び移動体
JP2009251687A (ja) 映像表示装置
EP3694740A1 (en) Display device, program, image processing method, display system, and moving body
JP2016502165A (ja) 運転者注意力検出方法および装置
JP2008242251A (ja) 映像表示装置
JP2024029051A (ja) 車載表示装置、方法およびプログラム
JP2012019452A (ja) 画像処理装置及び画像処理方法
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
JP7450230B2 (ja) 表示システム
JP2008083184A (ja) 運転評価システム
WO2017169230A1 (ja) 画像表示装置および画像表示方法
JP2011020539A (ja) 後部座席用映像表示装置
JP4493575B2 (ja) 移動体シミュレータ装置およびその制御方法並びに制御プログラム
JP5157134B2 (ja) 注意誘導装置および注意誘導方法
CN114506278B (zh) 用于车载娱乐的全景虚拟环境
EP3820726A1 (en) Optical flow for motion sickness reduction
Sakamura et al. A virtual boarding system of an autonomous vehicle for investigating the effect of an AR display on passenger comfort

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090914

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120924