JP7181589B2 - Video processing system and video processing device - Google Patents
Video processing system and video processing device Download PDFInfo
- Publication number
- JP7181589B2 JP7181589B2 JP2018219927A JP2018219927A JP7181589B2 JP 7181589 B2 JP7181589 B2 JP 7181589B2 JP 2018219927 A JP2018219927 A JP 2018219927A JP 2018219927 A JP2018219927 A JP 2018219927A JP 7181589 B2 JP7181589 B2 JP 7181589B2
- Authority
- JP
- Japan
- Prior art keywords
- reflector
- marker
- camera
- image
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003550 marker Substances 0.000 claims description 138
- 238000001514 detection method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 1
- 229920000178 Acrylic resin Polymers 0.000 description 1
- 239000004925 Acrylic resin Substances 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920005668 polycarbonate resin Polymers 0.000 description 1
- 239000004431 polycarbonate resin Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本発明は、映像処理システム及び映像処理装置に関する。 The present invention relates to a video processing system and a video processing device.
今日、産業用途やコンシューマ用途等で、仮想現実(Virtual Reality:以下「VR」と略す)の技術を利用したアプリケーションが広く普及し始めている。ゴーグル型ヘッドマウントディスプレイ(以下「HMD」(Head Mount Display)と略す)に映像を映すと、HMDの装着者はあたかも自分がHMDに映された映像の世界に居るような感覚を得ることができる。
このような、自己視点からの見え方を記録した一人称視点映像は、没入感の高い映像情報の記録・伝達・提示が可能である。そこで、VRを、様々な作業の記録や、当該作業をHMD装着者に追体験させることによる作業の早期習得等が試みられており、またそのようなVRの利用が広がりつつある。
Today, applications using virtual reality (hereinafter abbreviated as “VR”) technology are beginning to spread widely for industrial use, consumer use, and the like. When an image is projected on a goggle-type head-mounted display (hereinafter abbreviated as "HMD" (Head Mount Display)), the wearer of the HMD can feel as if he/she is in the world of the image projected on the HMD. .
Such a first-person viewpoint video, which records the way of viewing from one's own viewpoint, enables recording, transmission, and presentation of video information with a high sense of immersion. Therefore, attempts have been made to use VR to record various types of work, and to allow the HMD wearer to experience the work at an early stage, and the use of such VR is becoming more widespread.
特許文献1には、仮想空間における移動を容易に実現する情報処理装置の技術内容が開示されている。
特許文献2には、多視点からのカメラ映像から被撮像体の三次元映像を生成する技術内容が開示されている。
Japanese Patent Laid-Open No. 2002-200002 discloses a technique for generating a three-dimensional image of an object to be imaged from camera images taken from multiple viewpoints.
作業の習得を目的とする一人称視点映像の具体例として、外科手術が挙げられる。高度な医療技術が求められる外科手術は、これまでは患者の存在なくしては習熟が困難であったが、貴重な外科手術の一部始終を動画撮影することで、外科手術の技術の習得を早めることが可能になってきている。そして、その動画も一般的なビデオカメラで患者を遠くから撮影するものではなく、執刀医の視点で動画を撮影することができれば、執刀医の技術をより明確に確認することが期待できる。
しかし、執刀医の施術は極めて繊細で失敗は許されず、高い集中力を必要とする。このため、ビデオカメラなどの付帯物を装着した状態での施術は、ビデオカメラの重さや映像伝送ケーブルの配線が執刀医の施術を邪魔し、執刀医の集中力を阻害する原因となるため、現実に行うことは難しかった。
Surgery is a specific example of first-person-view video for the purpose of learning operations. Surgery requires advanced medical technology, and until now it was difficult to master without the presence of the patient. It is now possible to move forward. In addition, if the moving image can be captured from the perspective of the surgeon instead of using a general video camera to capture the patient from a distance, it can be expected that the surgeon's skill can be confirmed more clearly.
However, the surgeon's treatment is extremely delicate and failure is not allowed, requiring a high degree of concentration. For this reason, the weight of the video camera and the wiring of the video transmission cable hinder the operation of the surgeon, hindering the concentration of the surgeon. It was difficult to do in reality.
本発明はかかる課題を解決し、作業者にカメラ等の重い電子デバイスなどの付帯物を装着させずに、作業者の一人称視点映像などの空間環境を記録することが可能な映像処理システム及び映像処理装置を提供することを目的とする。 The present invention solves this problem, and a video processing system and video that can record a spatial environment such as a first-person viewpoint video of a worker without having the worker wear an accessory such as a heavy electronic device such as a camera. It is an object of the present invention to provide a processing apparatus.
上記課題を解決するために、本発明の映像処理システムは、任意の対象を反射する反射体と、反射体によって反射された任意の対象を撮影可能なカメラと、カメラから直接撮影可能な位置に存在する第一マーカと、反射体によって反射した鏡像がカメラから撮影可能である第二マーカと、カメラが出力する映像データに存在する第一マーカの位置から空間を把握すると共に、映像データから反射体の映像部分を切り出し、反射体の映像部分に含まれる第二マーカの形状から反射体によって生じた歪みを把握して、反射体の映像部分を平面状態に補正する映像処理装置とを具備する。 In order to solve the above problems, the image processing system of the present invention includes a reflector that reflects an arbitrary object, a camera capable of photographing the arbitrary object reflected by the reflector, and a The space is grasped from the position of the existing first marker, the second marker whose mirror image reflected by the reflector can be captured by the camera, and the position of the first marker existing in the video data output by the camera, and the space is reflected from the video data. and an image processing device that cuts out an image portion of the body, grasps distortion caused by the reflector from the shape of a second marker included in the image portion of the reflector, and corrects the image portion of the reflector to a flat state. .
本発明によれば、作業者に重い電子デバイスを装着させるなど、映像観察点に撮像機器を配置すること無く、任意の空間点からの視野映像を生成することが出来、作業者の一人称視点映像などを記録することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to generate a field-of-view image from an arbitrary spatial point without arranging an imaging device at the image observation point, such as having the worker wear a heavy electronic device, and the operator's first-person-view image. etc., can be recorded.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
本発明の第一の実施形態に係る映像処理システムは、執刀医等の作業者が装着するゴーグルに映る画像を全方位カメラあるいは広角度カメラで撮影する。ゴーグルは凸面鏡の特徴を有し、被写体を広角度にて反射する。そして、映像処理システムは、カメラの画像からゴーグルの部分を切り出し、ゴーグルの向きを検出して、ゴーグル装着者の視点で見る映像に変換する。 A video processing system according to the first embodiment of the present invention captures an image reflected in goggles worn by an operator such as a surgeon with an omnidirectional camera or a wide-angle camera. Goggles have the characteristics of a convex mirror and reflect the subject at a wide angle. Then, the image processing system cuts out the goggles portion from the image of the camera, detects the orientation of the goggles, and converts it into an image viewed from the viewpoint of the goggles wearer.
[第一の実施形態:映像処理システム101:概略]
図1は、本発明の第一の実施形態の例であり、本発明の映像処理システム101の使用状態を説明する概略図である。図1は、手術室において執刀医102aと看護師102bが被写体である患者103に所定の施術を施す様子を、全方位カメラ104で撮影する様子を表している。なお、執刀医102aと看護師102bを区別しない場合は作業者102と総称する。
[First Embodiment: Video Processing System 101: Overview]
FIG. 1 is an example of the first embodiment of the present invention, and is a schematic diagram for explaining the usage state of a
映像処理システム101は、全方位カメラ104と、映像処理装置105と、マーカ106と、凸面鏡の特徴を有するゴーグル107よりなる。
全方位カメラ104は全天球カメラ等とも呼ばれる、360°の全方位を撮影可能なカメラである。撮影画像は球体形状に湾曲されているが、所定の映像処理装置で画像の湾曲や歪みを修正することで、平面状の画像として利用することができる。全方位カメラ104は主に監視カメラや防犯カメラ等の用途で広く普及しているカメラである。
The
The
映像処理装置105は周知のパソコン等の情報処理装置で構成される。情報処理装置は映像処理装置105として動作するためのプログラムを読み込み、実行することで、映像処理装置105として機能する。
マーカ106は、上下左右に非対称の幾何学模様が大きく描かれたものである。このように、上下左右に非対称な模様を有するマーカを用いることによって、計算機がマーカ106の上下左右を明確に判別することが可能になる。このマーカ106は、例えば被写体の近傍に据え置かれる。図1に示すマーカ106は一例として、長方形の枠に四則演算の演算子が描かれている。このマーカ106は紙に印刷してもよいし、薄い板に描画してもよい。また、図1に示すような手術室の手術台108に直接印刷してもよい。なお、マーカ106の模様は図1に示すものに限定されない。
映像処理装置105は、全方位カメラ104とマーカ106との相対的な位置関係を把握することによって、映像処理装置105が内部で形成する仮想三次元空間の基準を設けることができる。マーカ106はこのために必要なものである。
The
The
By grasping the relative positional relationship between the
ゴーグル107は、執刀医102a及び看護師102b等の、所定の作業を遂行する作業者102によって装着される。ゴーグル107のレンズは全方位カメラ104が撮影できるように外界風景を反射する。ゴーグル107のレンズが反射する外界風景を全方位カメラ104が捉える仕組みにはいくつかの方法が考えられる。
一つは、周知のマジックミラーを用いる方法である。ゴーグル107のレンズは例えば、アクリル等の透明な合成樹脂の板に、誘電多層膜や金属薄膜等の材料で構成されるハーフミラーフィルムを貼付したものである。ゴーグル107のレンズの表面は球面に類似する湾曲形状を有すると共に、鏡のように外界風景を反射する。すなわち、ゴーグル107のレンズは凸面鏡の特徴を有する。このような凸面鏡の特徴を有するゴーグル107は、スキーやスノーボード等のウィンタースポーツ用途として市場に流通している。
もう一つは、ゴーグル107のレンズに単なる鏡面仕上げされた板を採用する一方、全方位カメラ104に偏光カメラという、入射光のうち偏光成分のみを優先的に捉えるカメラを使用することで、ゴーグル107のレンズ部分だけを撮影する方法である。
The
One is a method using a well-known magic mirror. The lens of the
The other is to use a simple mirror-finished plate for the lens of the
さらに、一般的に利用される、光沢面のみを有し、鏡面加工等が施されていない透明プラスチック(ポリカーボネート樹脂やアクリル樹脂が良く利用される)をそのレンズ面の材料とするゴーグル107と、偏光カメラ等ではない安価な市販のカメラ104を用いた場合でも、手術室内の、目的とする映像範囲が撮像できる場合には、本発明が適応できる。ゴーグル107のレンズの光沢面から得られる反射像のコントラストが低く、映像信号とノイズの比率(S/N比)が低い場合でも、HDR(High Dynamic Range)やデヘイズ等の映像処理を施すことで、ゴーグル107の反射像、市販カメラ104の映像を用いて本発明を実施することが可能である。
なお、「ノングレア処理」「アンチグレア処理」等と呼ばれる、反射防止加工が施されたレンズは、そもそも映像の反射ができないので、本発明の実施形態の対象外である。
Further,
It should be noted that a lens subjected to anti-reflection processing, which is called “non-glare processing” or “anti-glare processing”, cannot reflect an image in the first place, and therefore is not the object of the embodiments of the present invention.
全方位カメラ104は、マーカ106のみならず、作業者102が装着しているゴーグル107も撮影する。すると、ゴーグル107には作業者102が見る風景が反射して、全方位カメラ104に映り込む。この風景には、作業者102が見る被写体も含まれる。図1では、患者103が被写体に該当する。さらに、ゴーグル107にはマーカ106も映り込む。
The
映像処理装置105は、ゴーグル107に映り込んだマーカ106を手がかりに、ゴーグル107に映り込んだ映像を切り出すと共に、映り込んだ映像に表れる歪んだ風景に補正処理を施す。そして、映像処理装置105が内部で形成する仮想三次元空間内におけるゴーグル107の座標情報と姿勢情報を算出し、ゴーグル107の座標情報と姿勢情報に基づいて、ゴーグル107を装着する作業者102が見ていると推定される映像を、補正処理を施した風景から切り出す。
Using the
[映像処理装置105]
図2は、映像処理装置105のハードウェア構成を示すブロック図である。
パソコンよりなる映像処理装置105は、バス201に接続されたCPU202、ROM203、RAM204、表示部205、操作部206、不揮発性ストレージ207と、全方位カメラ104が接続されるシリアルインターフェース208を備える。シリアルインターフェース208は例えば周知のUSBである。
[Video processing device 105]
FIG. 2 is a block diagram showing the hardware configuration of the
A
図3は、映像処理装置105のソフトウェア機能を示すブロック図である。図3中、情報処理機能ブロックを実線の枠で、データや情報を一点鎖線の枠で示している。
全方位カメラ104が出力する全方位撮影映像データ301は、第一マーカ検出処理部302に入力される。
第一マーカ検出処理部302は、不揮発性ストレージ207に記憶されているマーカ情報303に基づいて、全方位撮影映像データ301に写っているマーカ106を探し当てる。そして、全方位撮影映像データ301における位置情報及び姿勢情報である、全方位カメラマーカ姿勢座標情報304を出力する。マーカ情報303は、マーカ106の形状と大きさに関する情報よりなる。マーカ106の形状はマーカ106の画像データでもよい。
全方位カメラマーカ姿勢座標情報304は、全方位カメラ位置推定処理部305に入力される。
全方位カメラ位置推定処理部305は、全方位カメラマーカ姿勢座標情報304に基づく推定演算処理を行い、全方位カメラ104の仮想三次元空間内における座標情報である、全方位カメラ座標情報306を出力する。
FIG. 3 is a block diagram showing software functions of the
The first marker
The omnidirectional camera marker orientation coordinate
The omnidirectional camera position
一方、全方位カメラ104が出力する全方位撮影映像データ301は、ゴーグル領域抽出処理部307にも入力される。
ゴーグル領域抽出処理部307は、全方位撮影映像データ301に写っているゴーグル107を探し当てる。そして、ゴーグル領域抽出処理部307は、全方位撮影映像データ301からゴーグル107の領域の部分だけ切り出した第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nを出力する。
全方位撮影映像データ301からゴーグル107を探し当てる方法には幾つかある。一例としては、全方位カメラ104に偏光カメラを採用し、全方位撮影映像データ301から偏光に基づく反射が強く得られる領域を探し当てる方法がある。また、ゴーグル107の周縁部分に近赤外線LEDを装着し、近赤外線LEDを所定の周期で点滅させることでゴーグル107の位置を探し当てる方法も考えられる。更に、近年急速に発達しているAI(artificial intelligence:人工知能)を用いた画像認識処理で、画像データ中の凸面鏡の特徴を有する箇所を探し当てるようにしてもよい。
On the other hand, the
The goggles area
There are several methods for finding the
ゴーグル領域抽出処理部307が出力する第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nは、第二マーカ検出処理部309に入力される。
第二マーカ検出処理部309は、第一マーカ検出処理部302と同様に、不揮発性ストレージ207に記憶されているマーカ情報303に基づいて、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nのそれぞれに写っているマーカ106を探し当てる。そして、第二マーカ検出処理部309は、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nにおける位置情報及び姿勢情報である、第一ゴーグルマーカ姿勢座標情報310a、第二ゴーグルマーカ姿勢座標情報310b、…第nゴーグルマーカ姿勢座標情報310nを出力する。
The first goggle
Similar to the first marker
第一ゴーグルマーカ姿勢座標情報310a、第二ゴーグルマーカ姿勢座標情報310b、…第nゴーグルマーカ姿勢座標情報310nは、ゴーグル座標推定処理部311に入力される。
ゴーグル座標推定処理部311は、第一ゴーグルマーカ姿勢座標情報310a、第二ゴーグルマーカ姿勢座標情報310b、…第nゴーグルマーカ姿勢座標情報310nと、全方位カメラマーカ姿勢座標情報304と、全方位カメラ座標情報306に基づく推定演算処理を行う。そして、ゴーグル座標推定処理部311は、全方位カメラ104の仮想三次元空間内における、ゴーグル107に写ったマーカ106の位置と姿勢と歪みを含む情報である、第一ゴーグル姿勢座標情報312a、第二ゴーグル姿勢座標情報312b、…第nゴーグル姿勢座標情報312nを出力する。
The first goggle marker posture coordinate
The goggle coordinate
第二マーカ検出処理部309の処理自体は第一マーカ検出処理部302と殆ど同じ処理であるが、第二マーカ検出処理部309で第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nから検出するマーカ106は、ゴーグル107によって反転され、幾何歪みが生じている。なお、これ以降、凸面鏡、平面鏡、凹面鏡を「反射鏡」と総称する。更に、反射鏡から得られる反射映像において、反射鏡の形状及び/または方向によって生じる反射映像の歪みを「幾何歪み」と定義する。なお、幾何歪みには反射鏡の形状(曲面)に由来する歪みと、反射鏡の方向に由来する射影歪みがあるが、「幾何歪み」とはこれら二種類の歪みを包含する上位概念の言葉として定義する。
一方、第一ゴーグル姿勢座標情報312a、第二ゴーグル姿勢座標情報312b、…第nゴーグル姿勢座標情報312nは、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nに存在するマーカ106の位置と姿勢のみならず、マーカ106の幾何歪みに関する情報も含む。マーカ106の幾何歪みは、ゴーグル107の湾曲形状に基づくものである。したがって、ゴーグル映像生成処理部313は、マーカ106の幾何歪みに関する情報を用いて、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nの幾何歪みを補正して、平面状の映像データに変換することが可能である。
The processing itself of the second marker
On the other hand, the first goggle posture coordinate
そこで、ゴーグル映像生成処理部313は、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nと、第一ゴーグル姿勢座標情報312a、第二ゴーグル姿勢座標情報312b、…第nゴーグル姿勢座標情報312nと、全方位カメラマーカ姿勢座標情報304(A)と、全方位カメラ座標情報306(B)を受けて、ゴーグル107を装着する作業者102が見ていると推定される映像を生成する。こうしてゴーグル映像生成処理部313は、第一ゴーグル視点映像データ314a、第二ゴーグル視点映像データ314b、…第nゴーグル視点映像データ314nを出力する。
Therefore, the goggle image
更に、第一ゴーグル視点映像データ314a、第二ゴーグル視点映像データ314b、…第nゴーグル視点映像データ314nは三次元形状推定処理部315に加えられ、三次元形状推定処理部315にて被写体の仮想三次元映像データ316が生成される。なお、三次元形状推定処理部315の処理は必ずしも必須のものではなく、必要に応じて行われる処理である。
Further, the first goggle
単眼のカメラである全方位カメラ104が出力する画像データストリームはあくまでも二次元の画像データであるため、このままでは映像処理装置105は三次元の被写体の向きや奥行き等を検出することはできない。
しかし、複数の作業者の視点映像が同時に取得することで、映像処理装置105は多視点映像を獲得することができる。そしてその結果として、映像処理装置105は三次元画像処理が可能になる。
映像装置105が三次元画像処理を行う方法は、本特許発明者による特許文献2に開示されている。
Since the image data stream output by the
However, the
A method for performing three-dimensional image processing by the
[三次元空間におけるカメラと撮影対象とゴーグル107]
図4は、全方位カメラ104と、マーカ106と、ゴーグル107と、被写体401の関係を示す概略図である。
映像処理装置105は、全方位カメラ104がマーカ106を直接撮影することで、第一マーカ検出処理部302が全方位カメラ104とマーカ106との相対的な位置関係を把握する。そしてこれとは別に、映像処理装置105は、全方位カメラ104がゴーグル107のレンズ107aを通じてマーカ106の鏡像M402と、被写体401の鏡像M403を撮影した映像データを取得する。
[Camera, shooting target, and
FIG. 4 is a schematic diagram showing the relationship among the
In the
ゴーグル座標推定処理部311は、ゴーグル107の向きを算出する。
マーカ106の鏡像には、ゴーグル107の曲面によって幾何歪みが生じている。ゴーグル座標推定処理部311は、第二マーカ検出処理部309を通じてこの幾何歪みを捉えて、被写体401の鏡像M403の幾何歪みを補正する手がかりとする。
ゴーグル映像生成処理部313は、ゴーグル座標推定処理部311が出力したゴーグル107の向きとゴーグル107の曲面に由来する幾何歪みに関する情報に基づき、ゴーグル107を装着する作業者102の視点で見ていると推定される映像を生成する。
The goggle coordinate
The mirror image of the
The goggle image
[第二の実施形態:車両補助モニタ装置]
図5は、本発明の第二の実施形態に係る、車両補助モニタ装置を搭載した乗用車の実施形態を示す概略図である。
乗用車501のフロントグリルには、フロントビューモニタと呼ばれる広角度カメラ502が装着されている。この広角度カメラ502に、前述の映像処理装置105が接続される。乗用車501の運転席側のダッシュボードには、映像処理装置105の表示部205が設置され、この表示部205が運転手の死角を補う。
図5において、乗用車501は車庫から出庫しようとしている。一方、壁503を隔てた運転手の死角に、子供504が自転車に乗って近づいている。
乗用車501の正面にはカーブミラーとも呼ばれる道路反射鏡505が設置されている。周知のように、道路反射鏡505は凸面鏡である。
[Second Embodiment: Vehicle Auxiliary Monitor Device]
FIG. 5 is a schematic diagram showing an embodiment of a passenger car equipped with a vehicle auxiliary monitor device according to a second embodiment of the present invention.
A wide-
In FIG. 5, a
A
道路には「とまれ」の路面標示506が印字されている。この路面標示506は、乗用車501の広角度カメラ502から直接見えると共に、道路反射鏡505を通じて反射した鏡像も見える。すなわち、路面標示506は前述の実施形態におけるマーカ106の役割を担うことになる。
映像処理装置105は、路面標示506のデータをマーカ106として予め不揮発性ストレージ207に記憶しておき、広角度カメラ502の映像から道路反射鏡505の部分を切り出す。そして、運転手から死角になる領域を、道路反射鏡505から得られる鏡像の幾何歪みを補正した状態で、表示部205に表示する。
A road marking 506 of "Stop" is printed on the road. This pavement marking 506 is directly visible from the wide-
The
上述の第二の実施形態には、全方位カメラ104の代わりに広角度カメラ502が使用される。但し、カメラが全方位を撮影可能であるか、あるいは広角度であるかは、必ずしも必須のものではない。広角度カメラ502に代えて複数のカメラを用いて必要な画角を得る構成にしてもよい。
また、上述の変形例にはゴーグル107が存在しない代わりに、道路反射鏡505という凸面鏡が存在する。
A
In addition, instead of the
[第三の実施形態:映像処理システム601:全体構成]
図6は、本発明の第三の実施形態の例であり、本発明の映像処理システム601の使用状態を説明する概略図である。
図6に示す映像処理システム601の、図1における第一の実施形態に係る映像処理システム101との相違点は、
<1>手術室の壁に、全方位カメラ104の位置を把握するための第一マーカ602が貼付されていること、
<2>第一の実施形態におけるマーカ106は、反射体であるゴーグル107によって反射した鏡像が全方位カメラ104から撮影可能である第二マーカ603として存在することである。
[Third Embodiment: Video Processing System 601: Overall Configuration]
FIG. 6 is an example of a third embodiment of the present invention, and is a schematic diagram for explaining the state of use of a
The difference between the
<1> A
<2> The
[映像処理装置604]
図7は、映像処理装置604のソフトウェア機能の一部を示すブロック図である。
図7に示すブロック図は、図3における映像処理装置105の、第一マーカ検出処理部302と、第二マーカ検出処理部309のみを抜粋している。
第一マーカ検出処理部302には、第一マーカ602の特徴を示す第一マーカ情報701が読み込まれる。
第一マーカ検出処理部302は、不揮発性ストレージ207に記憶されている第一マーカ情報701に基づいて、全方位撮影映像データ301に写っている第一マーカ602を探し当てる。そして、全方位撮影映像データ301における位置情報及び姿勢情報である、全方位カメラマーカ姿勢座標情報304を出力する。
[Video processing device 604]
FIG. 7 is a block diagram showing some of the software functions of the
The block diagram shown in FIG. 7 extracts only the first marker
The first marker
第二マーカ検出処理部309には、第二マーカ603の特徴を示す第一マーカ情報702が読み込まれる。
第二マーカ検出処理部309は、第一マーカ検出処理部302と同様に、不揮発性ストレージ207に記憶されている第二マーカ情報702に基づいて、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nのそれぞれに写っている第二マーカ603を探し当てる。そして、第二マーカ検出処理部309は、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nにおける位置情報及び姿勢情報である、第一ゴーグルマーカ姿勢座標情報310a、第二ゴーグルマーカ姿勢座標情報310b、…第nゴーグルマーカ姿勢座標情報310nを出力する。
Similar to the first marker
図6及び図7に示すように、映像処理システム601は、全方位カメラ104の位置を把握するための第一マーカ602と、反射体であるゴーグル107によって反射した鏡像が全方位カメラ104から撮影可能である第二マーカ603を有する。第一の実施形態における映像処理システム101は、第一マーカ602と第二マーカ603が一体化したものと考えることができる。
As shown in FIGS. 6 and 7, the
[反射鏡及び反射体について]
第一の実施形態、第二の実施形態及び第三の実施形態に共通する事項として、これまで反射鏡またはゴーグル107の光沢面を有するレンズのような物品は凸面形状を有することを前提として説明した。しかしながら、利用範囲は限定されるものの、平面鏡や極僅かな歪みを有する凹面鏡であっても、本発明に係る映像処理システムにおいて利用することは可能である。ゴーグル映像生成処理部313は、反射体領域の映像データに含まれる幾何歪みを、マーカ情報303または第二マーカ情報702に基づいて補正を行う。
ここで反射体とは、反射鏡のように鏡面仕上げを有する物品のみならず、鏡面仕上げはされていないものの光沢面を有し、コントラストの薄い反射映像を得ることが可能な物品も包含する、上位概念の言葉と定義する。
[Reflector and Reflector]
As a matter common to the first, second, and third embodiments, the description so far has been made on the premise that an article such as a reflecting mirror or a lens having a glossy surface of
Here, the reflector includes not only mirror-finished articles such as reflecting mirrors, but also non-mirror-finished articles that have a glossy surface and are capable of obtaining a low-contrast reflected image. It is defined as a word of a higher concept.
すなわち、本発明の実施形態に係る映像処理システム601は、
任意の対象を反射する反射体と、
反射体によって反射された任意の対象を撮影可能なカメラと、
カメラから直接撮影可能な位置に存在する第一マーカ602と、
反射体によって反射した鏡像がカメラから撮影可能である第二マーカ603と、
カメラが出力する映像データに存在する前記第一マーカの位置から空間を把握すると共に、映像データから反射体の映像部分を切り出し、反射体の映像部分に含まれる第二マーカの形状から反射体によって生じた歪みを把握して、反射体の映像部分を平面状態に補正する映像処理装置604と
を具備する。
そして、反射体の具体例の一つは第一の実施形態及び第三の実施形態におけるゴーグル107であり、もう一つは第二の実施形態における道路反射鏡505、すなわち凸面鏡である。また、反射体は必ずしも鏡面仕上げでなくてもよい。これら反射体の具体例は例示列挙であり、他の物品も想定し得る。例えば、図5の変形例において、道路反射鏡505に代えて凸面鏡の形状を有するアクリル等の反射板を乗用車501の正面に設置し、広角度カメラ502を偏光カメラで構成してもよい。
That is, the
a reflector that reflects any target;
a camera capable of photographing any object reflected by the reflector;
A
a
The space is grasped from the position of the first marker present in the image data output by the camera, the image portion of the reflector is cut out from the image data, and the reflector is used from the shape of the second marker included in the image portion of the reflector. and an
One specific example of the reflector is the
カメラという上位概念で映像処理装置604を見直すと、
全方位撮影映像データ301は映像データであり、
全方位カメラマーカ姿勢座標情報304はカメラマーカ姿勢座標情報であり、
全方位カメラ位置推定処理部305はカメラ位置推定処理部であり、
全方位カメラ座標情報306はカメラ座標情報である。
反射体という上位概念で映像処理装置604を見直すと、
ゴーグル領域抽出処理部307は反射体領域抽出処理部であり、
ゴーグル座標推定処理部311は反射体座標推定処理部であり、
ゴーグル映像生成処理部313は反射体映像生成処理部である。
また、第一ゴーグル領域映像データ308a、第二ゴーグル領域映像データ308b、…第nゴーグル領域映像データ308nは、第一反射体領域映像データ、第二反射体領域映像データ、…第n反射体領域映像データである。
第一ゴーグルマーカ姿勢座標情報310a、第二ゴーグルマーカ姿勢座標情報310b、…第nゴーグルマーカ姿勢座標情報310nは、第一反射体マーカ姿勢座標情報、第二反射体マーカ姿勢座標情報、…第n反射体マーカ姿勢座標情報である。
第一ゴーグル姿勢座標情報312a、第二ゴーグル姿勢座標情報312b、…第nゴーグル姿勢座標情報312nは、第一反射体姿勢座標情報、第二反射体姿勢座標情報、…第n反射体姿勢座標情報である。
第一ゴーグル視点映像データ314a、第二ゴーグル視点映像データ314b、…第nゴーグル視点映像データ314nは、第一反射体視点映像データ、第二反射体視点映像データ、…第n反射体視点映像データである。
反射体映像生成処理部は、第一反射体領域映像データ、第二反射体領域映像データ、…第n反射体領域映像データと、第一反射体姿勢座標情報、第二反射体姿勢座標情報、…第n反射体姿勢座標情報と、カメラマーカ姿勢座標情報と、カメラ座標情報を受けて、反射体が向いている方向と推定される反射体視点映像データを生成する。
また、反射体映像生成処理部は、反射体領域映像データが凸面形状反射体の形状に由来する幾何歪みを含む映像データである場合に、凸面形状反射体の形状によって生じる反射体領域映像データの幾何歪みを補正することで、凸面形状反射体の映像部分を平面状態に補正する。
Looking at the
The
The omnidirectional camera marker orientation coordinate
The omnidirectional camera position
The omnidirectional camera coordinate
When the
The goggle area
The goggle coordinate
A goggle image
Also, the first goggle
The first goggle marker posture coordinate
The first goggle posture coordinate
The first goggle-
The reflector image generation processing unit generates first reflector area image data, second reflector area image data, . . . receives the n-th reflector orientation coordinate information, the camera marker orientation coordinate information, and the camera coordinate information, and generates reflector viewpoint image data that is estimated as the direction in which the reflector faces.
In addition, the reflector image generation processing unit generates reflector area image data generated by the shape of the convex reflector when the reflector area image data is image data including geometric distortion derived from the shape of the convex reflector. By correcting the geometric distortion, the image portion of the convex reflector is corrected to a flat state.
本発明の実施形態においては、映像処理システム101を開示した。
映像処理装置105は、ゴーグル107に映る湾曲した鏡像の幾何歪みを、マーカ106を手がかりに補正して、ゴーグル107の向く方向の映像データを生成する。作業者102は作業の最中に重いカメラを頭部に装着する必要がなくなり、軽量なゴーグル107を装着するだけで、作業者102の視点の映像データを得ることができる。
映像処理システム101は、特に習得の機会が少ない外科手術の習得に大きな効果が得られるものと期待できる。また、外科手術に限らず、様々な作業の映像を、カメラを作業者102の頭部に装着することなく簡便に作業者視点の映像データを得ることができる。
更に、複数のゴーグル107や凸面鏡が被写体の周囲に存在すれば、被写体の三次元立体データを容易に得ることができる。
In embodiments of the present invention, a
The
The
Furthermore, if a plurality of
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and other modifications and applications can be made without departing from the gist of the present invention described in the claims. including.
101…映像処理システム、102…作業者、102a…執刀医、102b…看護師、103…患者、104…全方位カメラ、105…映像処理装置、106…マーカ、107…ゴーグル、107a…レンズ、108…手術台、201…バス、202…CPU、203…ROM、204…RAM、205…表示部、206…操作部、207…不揮発性ストレージ、208…シリアルインターフェース、301…全方位撮影映像データ、302…第一マーカ検出処理部、303…マーカ情報、304…全方位カメラマーカ姿勢座標情報、305…全方位カメラ位置推定処理部、306…全方位カメラ座標情報、307…ゴーグル領域抽出処理部、308a…第一ゴーグル領域映像データ、308b…第二ゴーグル領域映像データ、308n…第nゴーグル領域映像データ、309…第二マーカ検出処理部、310a…第一ゴーグルマーカ姿勢座標情報、310b…第二ゴーグルマーカ姿勢座標情報、310n…第nゴーグルマーカ姿勢座標情報、311…ゴーグル座標推定処理部、312a…第一ゴーグル姿勢座標情報、312b…第二ゴーグル姿勢座標情報、312n…第nゴーグル姿勢座標情報、313…ゴーグル映像生成処理部、314a…第一ゴーグル視点映像データ、314b…第二ゴーグル視点映像データ、314n…第nゴーグル視点映像データ、315…三次元形状推定処理部、316…仮想三次元映像データ、401…被写体、501…乗用車、502…広角度カメラ、503…壁、504…子供、505…道路反射鏡、506…路面標示、601…映像処理システム、602…第一マーカ、603…第二マーカ、604…映像処理装置、701…第一マーカ情報、702…第二マーカ情報
DESCRIPTION OF
Claims (9)
前記反射体によって反射された任意の対象を撮影可能なカメラと、
前記カメラから直接撮影可能な位置に存在する第一マーカと、
前記反射体によって反射した鏡像が前記カメラから撮影可能である第二マーカと、
前記カメラが出力する映像データに存在する前記第一マーカの位置から空間を把握すると共に、前記映像データから前記反射体の映像部分を切り出し、前記反射体の映像部分に含まれる前記第二マーカの形状から前記反射体によって生じた歪みを把握して、前記反射体の映像部分を平面状態に補正する映像処理装置と
を具備する、映像処理システム。 a reflector that reflects any target;
a camera capable of photographing any object reflected by the reflector;
a first marker present at a position directly photographable from the camera;
a second marker whose mirror image reflected by the reflector can be captured by the camera;
The space is grasped from the position of the first marker present in the image data output by the camera, the image portion of the reflector is cut out from the image data, and the second marker included in the image portion of the reflector is extracted. and an image processing device that recognizes distortion caused by the reflector from its shape and corrects the image portion of the reflector to a flat state.
前記映像処理装置は、前記凸面形状反射体から得られる前記鏡像において、前記凸面形状反射体の形状によって生じる前記鏡像の幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、請求項1に記載の映像処理システム。 the reflector is a convex reflector,
In the mirror image obtained from the convex reflector, the image processing device corrects the geometric distortion of the mirror image caused by the shape of the convex reflector, thereby flattening the image portion of the convex reflector. 2. The image processing system of claim 1, wherein the image processing system corrects.
前記映像データに写っている前記第一マーカを探し当て、カメラマーカ姿勢座標情報を出力する第一マーカ検出処理部と、
前記カメラマーカ姿勢座標情報に基づく推定演算処理を行い、前記カメラの仮想三次元空間内における座標情報であるカメラ座標情報を出力するカメラ位置推定処理部と、
前記映像データから1以上の前記反射体の部分を切り出した反射体領域映像データを出力する反射体領域抽出処理部と、
1以上の前記反射体領域映像データに写っている前記第二マーカの鏡像を探し当て、1以上の前記反射体領域映像データにおける位置情報及び姿勢情報である反射体マーカ姿勢座標情報を出力する第二マーカ検出処理部と、
1以上の前記反射体マーカ姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記カメラの仮想三次元空間内における、前記1以上の前記反射体に写った前記第二マーカの位置と姿勢と歪みを含む情報である反射体姿勢座標情報を出力する反射体座標推定処理部と、
1以上の前記反射体領域映像データと、1以上の前記反射体姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記反射体が向いている方向と推定される反射体視点映像データを生成すると共に、前記反射体領域映像データが前記凸面形状反射体による映像データである場合に、前記凸面形状反射体の形状によって生じる前記反射体領域映像データの幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、反射体映像生成処理部と
を具備する、請求項2に記載の映像処理システム。
The video processing device is
a first marker detection processing unit that finds the first marker appearing in the video data and outputs camera marker posture coordinate information;
a camera position estimation processing unit that performs estimation calculation processing based on the camera marker posture coordinate information and outputs camera coordinate information that is coordinate information in the virtual three-dimensional space of the camera;
a reflector region extraction processing unit that outputs reflector region video data obtained by extracting one or more of the reflector portions from the video data;
A second step of finding a mirror image of the second marker appearing in one or more of the reflector area image data and outputting reflector marker attitude coordinate information, which is position information and attitude information in the one or more of the reflector area image data. a marker detection processing unit;
Based on the one or more reflector marker orientation coordinate information, the camera marker orientation coordinate information, and the camera coordinate information, the second image captured by the one or more reflectors in the virtual three-dimensional space of the camera is displayed. a reflector coordinate estimation processing unit that outputs reflector orientation coordinate information that is information including the position, orientation, and distortion of the marker;
Reflection estimated as the direction in which the reflector faces, based on one or more of the reflector region image data, one or more of the reflector orientation coordinate information, the camera marker orientation coordinate information, and the camera coordinate information. Body viewpoint image data is generated, and geometric distortion of the reflector area image data caused by the shape of the convex reflector is corrected when the reflector area image data is image data by the convex reflector. 3. The image processing system according to claim 2, further comprising a reflector image generation processing unit that corrects the image portion of the convex reflector to a planar state.
複数の前記反射体視点映像データに基づき、被写体の仮想三次元映像データを生成する三次元形状推定処理部と
を具備する、請求項3に記載の映像処理システム。 The video processing device further includes:
4. The image processing system according to claim 3, further comprising a three-dimensional shape estimation processing unit that generates virtual three-dimensional image data of a subject based on a plurality of said reflector viewpoint image data.
前記映像処理装置は、
前記映像データに写っている前記第一マーカを探し当て、カメラマーカ姿勢座標情報を出力する第一マーカ検出処理部と、
前記カメラマーカ姿勢座標情報に基づく推定演算処理を行い、前記カメラの仮想三次元空間内における座標情報であるカメラ座標情報を出力するカメラ位置推定処理部と、
前記映像データから1以上の前記反射体の部分を切り出した反射体領域映像データを出力する反射体領域抽出処理部と、
1以上の前記反射体領域映像データに写っている前記第二マーカの鏡像を探し当て、1以上の前記反射体領域映像データにおける位置情報及び姿勢情報である反射体マーカ姿勢座標情報を出力する第二マーカ検出処理部と、
1以上の前記反射体マーカ姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記カメラの仮想三次元空間内における、前記1以上の前記反射体に写った前記第二マーカの位置と姿勢と歪みを含む情報である反射体姿勢座標情報を出力する反射体座標推定処理部と、
1以上の前記反射体領域映像データと、1以上の前記反射体姿勢座標情報と、前記カメラマーカ姿勢座標情報と、前記カメラ座標情報に基づき、前記反射体が向いている方向と推定される反射体視点映像データを生成すると共に、前記反射体領域映像データが凸面形状反射体による映像データである場合に、前記凸面形状反射体の形状によって生じる前記反射体領域映像データの幾何歪みを補正することで、前記凸面形状反射体の映像部分を平面状態に補正する、反射体映像生成処理部と
を具備する、映像処理装置。 a reflector that reflects an arbitrary object; a camera capable of photographing the arbitrary object reflected by the reflector; a first marker that can be photographed from the reflector, a second marker that can be photographed by the camera as a mirror image reflected by the reflector, and the position of the first marker that exists in the image data output by the camera. Then, an image portion of the reflector is cut out from the image data, distortion caused by the reflector is grasped from the shape of the second marker included in the image portion of the reflector, and the image portion of the reflector is obtained. A video processing device in a video processing system comprising a video processing device that corrects to a planar state,
The video processing device is
a first marker detection processing unit that finds the first marker appearing in the video data and outputs camera marker posture coordinate information;
a camera position estimation processing unit that performs estimation calculation processing based on the camera marker posture coordinate information and outputs camera coordinate information that is coordinate information in the virtual three-dimensional space of the camera;
a reflector region extraction processing unit that outputs reflector region video data obtained by extracting one or more of the reflector portions from the video data;
A second step of finding a mirror image of the second marker appearing in one or more of the reflector area image data and outputting reflector marker attitude coordinate information, which is position information and attitude information in the one or more of the reflector area image data. a marker detection processing unit;
Based on the one or more reflector marker orientation coordinate information, the camera marker orientation coordinate information, and the camera coordinate information, the second image captured by the one or more reflectors in the virtual three-dimensional space of the camera is displayed. a reflector coordinate estimation processing unit that outputs reflector orientation coordinate information that is information including the position, orientation, and distortion of the marker;
Reflection estimated as the direction in which the reflector faces, based on one or more of the reflector region image data, one or more of the reflector orientation coordinate information, the camera marker orientation coordinate information, and the camera coordinate information. Generating body viewpoint image data, and correcting geometric distortion of the reflector area image data caused by the shape of the convex reflector when the reflector area image data is image data of a convex reflector. and a reflector image generation processing unit that corrects the image portion of the convex reflector to a flat state.
複数の前記反射体視点映像データに基づき、被写体の仮想三次元映像データを生成する三次元形状推定処理部と
を具備する、請求項8に記載の映像処理装置。 Furthermore,
9. The image processing apparatus according to claim 8, further comprising a three-dimensional shape estimation processing unit that generates virtual three-dimensional image data of a subject based on a plurality of said reflector viewpoint image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219927A JP7181589B2 (en) | 2018-11-26 | 2018-11-26 | Video processing system and video processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018219927A JP7181589B2 (en) | 2018-11-26 | 2018-11-26 | Video processing system and video processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088591A JP2020088591A (en) | 2020-06-04 |
JP7181589B2 true JP7181589B2 (en) | 2022-12-01 |
Family
ID=70909081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018219927A Active JP7181589B2 (en) | 2018-11-26 | 2018-11-26 | Video processing system and video processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7181589B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004159186A (en) | 2002-11-07 | 2004-06-03 | Sony Corp | On-vehicle image pickup system for monitor |
JP2005191655A (en) | 2003-12-24 | 2005-07-14 | Equos Research Co Ltd | Display control apparatus |
JP2010122821A (en) | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | Vehicle driving support device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6271068B1 (en) * | 2017-06-22 | 2018-01-31 | 株式会社ショーワ | Obstacle detection device, vehicle, and obstacle detection system |
-
2018
- 2018-11-26 JP JP2018219927A patent/JP7181589B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004159186A (en) | 2002-11-07 | 2004-06-03 | Sony Corp | On-vehicle image pickup system for monitor |
JP2005191655A (en) | 2003-12-24 | 2005-07-14 | Equos Research Co Ltd | Display control apparatus |
JP2010122821A (en) | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | Vehicle driving support device |
Also Published As
Publication number | Publication date |
---|---|
JP2020088591A (en) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7076447B2 (en) | Light field capture and rendering for head-mounted displays | |
CN110651236B (en) | Near-eye display with extended effective eye movement range via eye tracking | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
US7369101B2 (en) | Calibrating real and virtual views | |
US11134238B2 (en) | Goggle type display device, eye gaze detection method, and eye gaze detection system | |
JP5844880B2 (en) | Head mounted display, calibration method and calibration program, and recording medium | |
US20180160048A1 (en) | Imaging system and method of producing images for display apparatus | |
KR101737085B1 (en) | 3D camera | |
JP2000354257A (en) | Image processor, image processing method and program provision medium | |
JP2008508591A (en) | Vision-based augmented reality system using markers invisible to the naked eye | |
JP2018163481A (en) | Face recognition device | |
JP2022133133A (en) | Generation device, generation method, system, and program | |
US20120242791A1 (en) | 3-d video processing device and 3-d video processing method | |
CN110895433B (en) | Method and apparatus for user interaction in augmented reality | |
JP6576639B2 (en) | Electronic glasses and control method of electronic glasses | |
JP7181589B2 (en) | Video processing system and video processing device | |
US11269187B2 (en) | Display device and display method | |
US20230254466A1 (en) | Control device | |
JP6266580B2 (en) | Head mounted display, calibration method and calibration program, and recording medium | |
US20230401782A1 (en) | Electronic apparatus and control method of the same | |
JP2009006968A (en) | Vehicular display device | |
JP2017215597A (en) | Information display method and information display device | |
WO2024122191A1 (en) | Image processing device and method, program, and storage medium | |
JP7257623B2 (en) | Display control device and display control method | |
US20230305793A1 (en) | Control device, control method, and control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210629 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |