JP7239126B1 - Wearable information processing device, program and storage medium - Google Patents
Wearable information processing device, program and storage medium Download PDFInfo
- Publication number
- JP7239126B1 JP7239126B1 JP2022576445A JP2022576445A JP7239126B1 JP 7239126 B1 JP7239126 B1 JP 7239126B1 JP 2022576445 A JP2022576445 A JP 2022576445A JP 2022576445 A JP2022576445 A JP 2022576445A JP 7239126 B1 JP7239126 B1 JP 7239126B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- situation
- accident
- map
- incident
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 81
- 238000003860 storage Methods 0.000 title claims description 60
- 238000010586 diagram Methods 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 64
- 230000033001 locomotion Effects 0.000 claims description 17
- 239000000284 extract Substances 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 55
- 238000013500 data storage Methods 0.000 description 22
- 230000006378 damage Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 208000027418 Wounds and injury Diseases 0.000 description 10
- 208000014674 injury Diseases 0.000 description 10
- 238000003825 pressing Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000013480 data collection Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
Abstract
ウエアラブル装置を装着する人が遭った事故や事件の状況報告を自動生成する。ウエアラブル装置30からのカメラ映像を映像データとして記憶する映像処理装置40と、地図データを記憶する地図処理装置50と、事故又は事件の発生時の時刻データとGPSデータとを含む状況データを記憶する携帯端末装置20とにネットワークを介して接続され、状況データを取得する状況データ取得部122と、上記時刻データに基づいて映像データを取得する映像データ取得部121と、上記GPSデータに基づいて地図データを取得する地図データ取得部123と、少なくとも映像データと地図データに基づいて状況略図を生成する状況略図生成部125と、状況略図を含む状況報告を生成する状況報告生成部126とを備える。【選択図】 図2Automatically generate a status report of an accident or incident encountered by a person wearing a wearable device. A video processing device 40 that stores camera video from the wearable device 30 as video data, a map processing device 50 that stores map data, and situation data including time data and GPS data when an accident or incident occurs are stored. A situation data acquisition unit 122 that acquires situation data, a video data acquisition unit 121 that acquires video data based on the time data, and a map based on the GPS data. A map data acquisition unit 123 for acquiring data, a schematic situation map generation unit 125 for generating a schematic situation map based on at least video data and map data, and a situation report generation unit 126 for generating a situation report including the schematic situation map. [Selection diagram] Fig. 2
Description
本発明は、ウエアラブル装置のカメラ映像等の情報を利用して事故や事件の状況報告を生成するウエアラブル情報処理装置及びプログラムに関する。 The present invention relates to a wearable information processing device and a program for generating a situation report of an accident or incident using information such as camera images of the wearable device.
近年、スマートフォンなどの携帯端末装置を運転中に使用して衝突事故を起こすケースが多発している。他方、ドライブレコーダを自動車に装着して運転時の映像を記憶しておくことで、その映像を見れば自動車の衝突事故の状況が分かるようになってきた。例えば特許文献1では、ドライブレコーダのカメラ映像を記憶しておくことで事後的に事故原因などの解析に利用できる。
BACKGROUND ART In recent years, there have been many cases of collision accidents caused by using mobile terminal devices such as smartphones while driving. On the other hand, by attaching a drive recorder to an automobile and storing images of driving, it has become possible to understand the circumstances of automobile collision accidents by watching the images. For example, in
ところで、携帯端末の使用による衝突事故は自動車だけでなく、自転車やバイクと人、人と人との間でも多発している。しかしながら、特許文献1のようなドライブレコーダは自動車に搭載されるので、自動車事故の映像は記憶できても、自転車同士の事故や自転車と歩行者との事故などの自動車が関わらない事故の映像までは記憶できない。しかも、事故現場では被害者は気が動転しているため、状況を正確に伝えることは難しい。
Collisions caused by the use of mobile terminals frequently occur not only between automobiles but also between bicycles, motorcycles and people, and between people. However, since the drive recorder as disclosed in
このような事情を考慮して、本発明は、人に装着するウエアラブル装置のカメラ映像等のウエアラブル情報を利用することで、その人が巻き込まれた事故や事件の状況報告を自動的に生成できるウエアラブル情報処理装置及びプログラムを提供することを目的とする。 In consideration of such circumstances, the present invention uses wearable information such as a camera image of a wearable device worn by a person to automatically generate a status report of an accident or incident in which the person is involved. An object is to provide a wearable information processing device and a program.
上記課題を解決するために、本発明の装置は、人に装着されるウエアラブル装置からのカメラ映像を含む情報を処理するウエアラブル情報処理装置であって、ウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、携帯端末装置から状況データを取得する状況データ取得部と、映像処理装置から時刻データに基づく映像データを取得する映像データ取得部と、地図処理装置からGPSデータに基づく地図データを取得する地図データ取得部と、少なくとも映像データと地図データに基づいて状況略図を生成する状況略図生成部と、状況略図を含む事故又は事件の状況報告を生成する状況報告生成部とを備える。 In order to solve the above problems, a device according to the present invention is a wearable information processing device that processes information including a camera video from a wearable device worn by a person, and stores the camera video of the wearable device as video data. A mobile terminal connected via a network to a video processing device, a map processing device that stores map data, and a mobile terminal that can collect situation data including time data and GPS data at the time of occurrence of an accident or incident. A situation data acquisition unit that acquires situation data from the device, a video data acquisition unit that acquires video data based on time data from the video processing device, and a map data acquisition unit that acquires map data based on GPS data from the map processing device. , a schematic situation map generator for generating a schematic situation map based on at least the video data and the map data; and a situation report generator for generating a situation report of the accident or incident including the schematic situation map.
本発明のウエアラブル情報処理装置によれば、人に装着されるウエアラブル装置からのカメラ映像に基づいて事故又は事件の状況報告を自動的に生成できる。このように、人に装着されるウエアラブル装置からのカメラ映像を用いることで、その人が巻き込まれた事故の状況報告だけでなく、ひったくりなどの事件の状況報告まで自動的に生成できる。しかも、事故又は事件の発生時の時刻データから映像データを取得し、GPSデータから地図データを取得して状況略図まで自動的に生成できるので、事故や事件に巻き込まれて気が動転していても、正確に現場の状況を伝える状況報告をその場で生成できる。 According to the wearable information processing device of the present invention, it is possible to automatically generate a situation report of an accident or incident based on a camera image from a wearable device worn by a person. In this way, by using a camera image from a wearable device worn by a person, it is possible to automatically generate not only a situation report of an accident in which the person is involved, but also a situation report of an incident such as a snatch. In addition, video data can be obtained from the time data when an accident or incident occurs, map data can be obtained from GPS data, and even a schematic diagram of the situation can be automatically generated. can also generate on-the-fly situation reports that accurately convey the situation on the ground.
本発明の好適な態様において、カメラ映像は、ウエアラブル装置を装着した人の周囲の映像である。本態様によれば、ウエアラブル装置を装着した人の周囲の映像をカメラ映像として用いるので、例えば自転車に衝突された事故であればその自転車がどちらの方向から衝突したのかが分かる。また、ひったくり犯人がどちらの方向からやってきたのかも分かる。 In a preferred aspect of the present invention, the camera image is an image of the surroundings of the person wearing the wearable device. According to this aspect, since the image of the surroundings of the person wearing the wearable device is used as the camera image, for example, in the case of an accident in which a bicycle collides, it is possible to know from which direction the bicycle collided. You can also see which direction the snatcher is coming from.
本発明の好適な態様において、状況略図生成部は、映像データ取得部で取得された映像データから、事故又は事件を引き起こした対象の画像を検出し、対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図を生成し、地図データ取得部で取得された地図データからGPSデータの位置を含む現場付近地図を生成し、現場状況略図と現場付近地図から状況略図を生成する。本態様によれば、事故又は事件を引き起こした対象の画像(例えば自転車・バイク・自動車等の乗り物、歩行者・ランナー等の人物)を検出し、対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図と現場付近地図から状況略図を自動で生成できるから、単に映像データの画像を状況報告に貼りつける場合と比較して、その画像から状況略図への加工の手間を省くことができる。このように、加工しなくても保健会社や警察にそのまま送信できる状況略図を含む状況報告書が自動で生成されるので、事故や事件に巻き込まれて気が動転していても、正確に状況を伝えることができる。また、事故又は事件を引き起こした人物や乗り物の画像を所定の記号に置き換えた状況略図を自動で生成できるので、判例などの状況略図との直接照合も可能となり、人物や乗り物の画像をそのまま貼りつける場合に比較して照合精度を大幅に向上できる。 In a preferred aspect of the present invention, the schematic situation diagram generation unit detects an image of the target that caused the accident or the incident from the video data acquired by the video data acquisition unit, replaces the target image with a predetermined symbol, and displays the image on the map. A schematic map of the site situation shown in the upper position is generated, a map of the vicinity of the site including the position of the GPS data is generated from the map data acquired by the map data acquisition unit, and a schematic situation map is generated from the schematic map of the site situation and the map of the vicinity of the site. According to this aspect, an image of a target that caused an accident or incident (for example, a vehicle such as a bicycle, a motorcycle, a car, or a person such as a pedestrian or a runner) is detected, and the target image is replaced with a predetermined symbol and displayed on the map. Since a schematic situation map can be automatically generated from the schematic map of the site situation indicated by the position of and the map of the vicinity of the site, compared to simply pasting the image of the video data to the situation report, the process of processing the image to the schematic situation map is saved. be able to. In this way, a situation report is automatically generated that includes a schematic diagram of the situation that can be sent to the health company or the police without editing, so even if you are upset about being involved in an accident or incident, you can accurately report the situation. can tell In addition, since it is possible to automatically generate a schematic situation map by replacing the images of the person or vehicle that caused the accident or incident with a predetermined symbol, it is possible to directly match the schematic situation map of a court decision, etc., and paste the image of the person or vehicle as it is. Collation accuracy can be greatly improved compared to the case of attaching.
本発明の好適な態様において、ウエアラブル装置は、携帯端末装置に接続され、映像処理装置は、携帯端末装置を介してウエアラブル装置からのカメラ映像を受信して所定の映像時間ごとの複数の映像データとして記憶し、映像データ取得部は、複数の映像データのうち少なくとも時刻データの時刻の映像を含む映像データを取得する。本態様によれば、ウエアラブル装置からのカメラ映像を所定の映像時間ごとの複数の映像データとして分けて記憶するから、複数の映像データに分けないで記憶する場合に比較して、事故や事件が発生した時刻の前後の映像を特定しやすい。 In a preferred aspect of the present invention, the wearable device is connected to the mobile terminal device, and the video processing device receives camera video from the wearable device via the mobile terminal device and generates a plurality of video data for each predetermined video time. , and the image data acquisition unit acquires image data including at least the image at the time of the time data from among the plurality of image data. According to this aspect, the camera video from the wearable device is divided and stored as a plurality of video data for each predetermined video time. It is easy to identify images before and after the time of occurrence.
本発明の好適な態様において、状況略図生成部は、現場状況略図を生成する前に、映像データ取得部で取得された映像データから対象の候補となる人物又は乗り物の画像が複数検出されたか否かを判断し、対象の候補となる人物又は乗り物の画像が1つしか検出されないと判断した場合には、その1つの画像を事故又は事件を引き起こした対象として特定して、現場状況略図及び現場付近地図及び状況略図を生成し、対象の候補となる人物又は乗り物の画像が複数検出されたと判断した場合には、上記映像データとそれよりも前の映像データとを比較することで対象の候補となる人物又は乗り物のそれぞれの位置と動きを検出して対象候補図を生成し、対象候補図の位置と動きに基づいて、複数の画像の中から事故又は事件を引き起こした対象を特定して、現場状況略図及び現場付近地図及び状況略図を生成する。本態様によれば、映像データに複数の乗り物や人物が写っている場合でも、事故又は事件を引き起こした対象を自動的に特定できる。また、事故又は事件の発生時に基づく映像データとそれよりも前の映像データとを比較することで、対象候補である人物や乗り物の位置と動きを検出できる。これにより、その対象候補の位置と動きに基づいて対象を特定することができるので、単に映像に写っている対象の大きさの違いなどから対象を特定する場合に比較してより正確に対象を特定できる。 In a preferred aspect of the present invention, before generating the schematic site situation diagram, the schematic situation diagram generation unit determines whether or not a plurality of images of a person or a vehicle that is a target candidate has been detected from the video data acquired by the video data acquisition unit. If it is determined that only one image of a person or vehicle that is a candidate for the target is detected, that one image is specified as the target that caused the accident or incident, and a schematic map of the site situation and the site When it is determined that a plurality of images of a person or a vehicle, which are candidates for a target, have been detected by generating a map of the vicinity and a schematic diagram of the situation, candidates for the target are identified by comparing the video data with previous video data. Detect the position and movement of each person or vehicle that becomes the target, generate an object candidate map, and identify the object that caused the accident or incident from among multiple images based on the position and movement of the object candidate map , to generate a map of the site situation and a map of the vicinity of the site and a map of the situation. According to this aspect, even when a plurality of vehicles or persons are shown in the video data, it is possible to automatically identify the object that caused the accident or incident. In addition, by comparing video data based on when an accident or incident occurred with video data before that, the position and movement of a person or vehicle, which is a target candidate, can be detected. As a result, the target can be specified based on the position and movement of the target candidate, so the target can be specified more accurately than when the target is specified simply from the difference in size of the target in the image. can be identified.
本発明の好適な態様において、携帯端末装置は、衝撃を検知する衝撃センサを備え、衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、状況データ取得部は、事故の発生又は事件の発生が選択された情報を含む状況データを携帯端末装置から取得する。衝撃を検知しても携帯端末装置を落としただけなど、事故の発生又は事件の発生してない場合もある。本態様によれば、状況データ取得部が携帯端末装置から取得する状況データには事故の発生又は事件の発生が選択された情報を含まれるから、事故の発生又は事件の発生がなければ状況報告書は自動で生成されないようにすることができるので、状況報告生成の無駄を抑制できる。 In a preferred aspect of the present invention, the portable terminal device is provided with an impact sensor for detecting an impact, and when the impact sensor detects an impact, it is possible to select whether an accident has occurred, an incident has occurred, or neither. The accident case selection screen is displayed on the display unit, and the situation data acquisition unit acquires situation data including the information that the occurrence of the accident or the occurrence of the incident is selected from the portable terminal device. Even if an impact is detected, there are cases where an accident or incident does not occur, such as when the portable terminal device is simply dropped. According to this aspect, the situation data acquired from the portable terminal device by the situation data acquisition unit includes information that the occurrence of an accident or an incident has been selected. Since the report can be prevented from being automatically generated, it is possible to suppress wasteful generation of the status report.
本発明の好適な態様において、状況報告生成部は、携帯端末装置からの状況データにより事故か事件かを判断し、事故であると判断した場合は、所定の事故発生状況報告書のフォーム(ひな形)から状況報告を生成し、事件であると判断した場合は、所定の事件発生状況報告書のフォームから状況報告を生成する。本態様によれば、事故又は事件のそれぞれのフォームに応じた状況報告を自動で生成できるので、後から所定のフォームに合わせて状況報告を作り直す手間を省ける。 In a preferred embodiment of the present invention, the situation report generation unit determines whether it is an accident or an incident based on the situation data from the portable terminal device. form), and if it is determined to be an incident, a situation report is generated from a predetermined incident occurrence status report form. According to this aspect, it is possible to automatically generate a situation report according to the form of each accident or incident, thereby saving the trouble of recreating the situation report later according to a predetermined form.
本発明の好適な態様において、状況略図を含む判例データを記憶する判例データベースと、状況略図生成部で生成された状況略図と判例データベースの判例に含まれる状況略図と照合して状況略図が類似する判例を選出し、選出した判例から過失割合を抽出し、選出した判例の状況略図と過失割合を含む過失割合報告を生成する過失割合報告生成部とを備える。本態様によれば、判例データベースを状況略図で照合するので、テキスト検索で判例を探す場合に比較して類似の判例を見つけやすい。判例データに基づく過失割合報告を自動で生成できるので、同様のケースの過失割合が分かり、訴訟の提起や示談の判断をしやすくなり、保険会社も保険の適用を判断しやすくなる。 In a preferred embodiment of the present invention, a judicial case database that stores judicial precedent data including schematic situation diagrams is compared with the schematic situation diagram generated by the schematic situation diagram generation unit and the schematic situation diagrams included in the judicial cases in the schematic situation diagrams to make the schematic situation diagrams similar. a percentage-of-fault report generator for selecting a case, extracting percentage-of-failure from the selected case, and generating a percentage-of-fault report including a schematic of the situation of the selected case and the percentage-of-fault. According to this aspect, since the judicial precedent database is compared with the schematic situation diagram, it is easier to find similar judicial precedents than when searching for judicial precedents by text search. Since it is possible to automatically generate a percentage-of-fault report based on case law data, it is possible to know the percentage of fault in similar cases, making it easier to file lawsuits and decide whether to settle, and for insurance companies to decide whether to apply insurance.
本発明の好適な態様において、判例データベースは、事故判例データベースと事件判例データベースに分けられ、過失割合報告生成部は、携帯端末装置からの状況データにより事故か事件かを判断し、事故であると判断した場合は、事故判例データベースから状況略図が類似する判例を選出し、事件であると判断した場合は、事件判例データベースから状況略図が類似する判例を選出する。本態様によれば、事故の場合は事故判例データベースから状況略図が類似する判例が選出され、事件の場合は事件判例データベースから状況略図が類似する判例が選出されるので、事故に応じた適切な判例を選出でき、また事件に応じた適切な判例や犯罪類型(条文など)を選出できる。 In a preferred embodiment of the present invention, the judicial precedent database is divided into an accident judicial precedent database and an incident judicial precedent database. If so, it selects a precedent with a similar outline of the situation from the accident precedent database, and if it determines that it is a case, selects a precedent with a similar outline of the situation from the case precedent database. According to this aspect, in the case of an accident, a judicial precedent with a similar schematic diagram of the situation is selected from the accident judicial precedent database, and in the case of a case, a judicial precedent with a similar schematic diagram of the situation is selected from the case judicial precedent database. Precedents can be selected, and appropriate precedents and crime types (articles, etc.) can be selected according to the case.
上記課題を解決するために、本発明のプログラムは、ウエアラブル情報処理装置が行う事故又は事件の状況報告生成処理をコンピュータに実行させるプログラムであって、ウエアラブル情報処理装置は、人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、状況報告生成処理は、携帯端末装置からの状況データを取得するステップと、映像処理装置から時刻データに基づく映像データを取得するステップと、地図処理装置からGPSデータに基づく地図データを取得するステップと、少なくとも映像データと地図データに基づいて状況略図を生成するステップと、状況略図を含む状況報告を生成するステップとを含む。これにより、コンピュータを、事故又は事件の状況報告生成処理を行うウエアラブル情報処理装置として機能させることができる。 In order to solve the above-described problems, a program of the present invention is a program for causing a computer to execute a process of generating a situation report of an accident or incident performed by a wearable information processing device, wherein the wearable information processing device is a wearable device worn on a person. A video processing device that stores camera video of the device as video data, a map processing device that stores map data, a mobile terminal device that can collect situation data including time data and GPS data when an accident or incident occurs, is connected via a network, and the situation report generating process includes a step of acquiring situation data from a mobile terminal device, a step of acquiring video data based on time data from a video processing device, and a step of acquiring GPS data from a map processing device. generating a situation diagram based at least on the video data and the map data; and generating a situation report including the situation diagram. This allows the computer to function as a wearable information processing device for generating a situation report of an accident or incident.
本発明によれば、人に装着するウエアラブル装置のカメラ映像等のウエアラブル情報を利用することで、人と自転車やバイク、人と人との事故や事件の映像も記憶できる。この映像に基づいて事故や事件の状況報告を自動的に生成できる。 According to the present invention, by using wearable information such as a camera image of a wearable device worn on a person, it is possible to store images of people and bicycles or motorcycles, and images of accidents and incidents between people. A status report of an accident or incident can be automatically generated based on this video.
<第1実施形態>
以下、本発明の第1実施形態について図面を参照しながら説明する。第1実施形態では本発明のウエアラブル情報処理装置10を備えるウエアラブル情報処理システム100を例示する。図1は、第1実施形態に係るウエアラブル情報処理システム100の構成を示す図である。図1のウエアラブル情報処理システム100は、ウエアラブル情報処理装置10と携帯端末装置20と映像処理装置40と地図処理装置50とを備える。<First Embodiment>
A first embodiment of the present invention will be described below with reference to the drawings. In the first embodiment, a wearable
ウエアラブル情報処理装置10は、携帯端末装置20と映像処理装置40と地図処理装置50とにインターネットなどのネットワークNを介して互いに通信可能に構成されている。ウエアラブル情報処理装置10と映像処理装置40と地図処理装置50は、パーソナルコンピュータで構成してもよく、クラウドサーバで構成してもよい。ウエアラブル情報処理装置10と映像処理装置40と地図処理装置50とはそれぞれ、複数台で分散処理するように構成してもよく、また1台のサーバ装置に設けられた複数の仮想マシンによって構成してもよい。
The wearable
携帯端末装置20は、ユーザによって利用される持ち運び可能な情報処理装置である。携帯端末装置20は、例えばスマートフォン、タブレット、PDA(Personal Digital Assistant)などである。ネットワークNには1つの携帯端末装置20が接続される場合を例示しているが、2つ以上の携帯端末装置20が接続されていてもよい。
The mobile
携帯端末装置20には、ウエアラブル装置30がブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークで接続可能である。ウエアラブル装置30はカメラ34を備え、人の身体に装着されてその人の周囲のカメラ映像を撮ることができる。図1のイラストに例示するウエアラブル装置30は、耳に装着する耳掛けタイプであり、全方位のカメラ映像を撮れるカメラ34が設けられている。
A
ウエアラブル情報処理装置10は、ウエアラブル情報(身体周囲のカメラ映像など)に基づいて事故又は事件の状況報告を自動で生成する。第1実施形態のウエアラブル情報処理装置10は、携帯端末装置20をクライアントとするサーバコンピュータで構成する場合を例示する。映像処理装置40は、ウエアラブル装置30からのカメラ映像を、携帯端末装置20を介して受信して映像データとして記憶する。地図処理装置50は地図データを記憶し、受信したGPSデータの緯度と経度を含む現場付近の地図データをウエアラブル情報処理装置10へ送信する。
The wearable
図2は、図1のウエアラブル情報処理システム100のブロック図である。図2に示す携帯端末装置20は、通信部21、制御部22、記憶部23、カメラ24,マイク25、センサ部26、入力部27、表示部28などを備える。制御部22と、通信部21、記憶部23、カメラ24,マイク25、センサ部26、入力部27、表示部28とはそれぞれバスライン20Lに接続され、相互にデータ(情報)のやり取りが可能である。
FIG. 2 is a block diagram of the wearable
通信部21は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10や映像処理装置40との間でデータ(情報)の送受信を行う。通信部21は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。通信部21は、ウエアラブル装置30との間でもデータ(情報)の送受信を行う。通信部21は、ブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークでウエアラブル装置30と接続可能である。
The
制御部22は、携帯端末装置20全体を統括的に制御する。制御部22は、MPU(Micro Processing Unit)などの集積回路で構成される。制御部22は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備える。制御部22は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
The
記憶部23は、制御部22で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体(コンピュータ読み取り可能な有形の記憶媒体:a tangible storage medium)の例示である。記憶部23は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部23の構成はこれらに限られず、記憶部23をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部23をSSD(Solid State Drive)で構成することもできる。
The
記憶部23は、プログラム記憶部231、データ記憶部232などを備える。プログラム記憶部231には、制御部22で実行される複数のアプリケーションプログラムが記憶される。プログラム記憶部231には、ウエアラブル装置30とウエアラブル情報処理装置10と映像処理装置40と連携してウエアラブル情報処理を行うための専用のアプリケーションプログラムが記憶される。この専用のアプリケーションプログラムは、ネットワークNを介して携帯端末装置20にダウンロード可能なプログラムである。データ記憶部232には、アプリケーションプログラムによって使用される各種データが記憶される。
The
制御部22は、センサデータ取得部221、衝撃検知部222、衝撃データ収集部223、状況データ収集部224などを備える。センサデータ取得部221は、センサ部26からのセンサデータ(加速度データなど)を取得する。センサ部26は、携帯端末装置20の衝撃を検知する衝撃センサ(例えば加速度センサ)を含む。衝撃検知部222は、センサデータ取得部221で取得したセンサデータ(加速度データなど)によって携帯端末装置20の衝撃を検知する。例えばセンサデータに基づいて加速度データを監視し、加速度が所定値を超えたときに衝撃を検知する。この加速度の所定値はユーザの入力により変更可能にしてもよい。衝撃データ収集部223は、衝撃検知部222が衝撃を検知すると、その衝撃時(衝撃を検知した時)の時刻データ、衝撃時のGPSデータなどを衝撃データとして収集する。
The
制御部22は、衝撃データ収集部223で収集した衝撃データを通信部21によりウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は衝撃データを受信すると、携帯端末装置20にプッシュ通知を送信する。状況データ収集部224は、プッシュ通知により、事故事件選択画面や状況入力画面などを表示部28に表示して状況データを収集可能である。
The
事故事件選択画面は、例えば「事件発生か」「事故発生か」「何も発生してないか」などを選択できる画面である。状況入力画面は、例えば相手の容姿や信号の状況、どのような事故又は事件が発生したかなどの状況説明や詳細情報を入力できる画面である。この状況入力画面は、アンケート形式で入力できるようにしてもよい。事故事件選択画面や状況入力画面などにより入力部27から入力されたデータ(情報)を状況データとして収集する。状況データには、衝撃時の加速度データ、時刻データ、GPSデータなどの衝撃データが含まれる。
The accident case selection screen is a screen for selecting, for example, "Is there an accident?" "Is there an accident?" The situation input screen is a screen on which situation explanations and detailed information can be input, such as the appearance of the other party, the signal situation, and what kind of accident or incident has occurred. This situation input screen may be configured to allow input in the form of a questionnaire. The data (information) input from the
入力部27は、例えばタッチパネルやボタンである。入力部27は、ブルートゥース(登録商標)で携帯端末装置20に接続される外部入力デバイス(キーボード、マウスなど)であってもよい。表示部28は、液晶ディスプレイや有機ELディスプレイなどであり、制御部22からの指示に従って各種情報を表示する。ここでの表示部28は、タッチパネル付きの液晶ディスプレイを例示する。入力部27のボタンは、表示部28に表示されたボタンであってもよい。
The
図2のウエアラブル装置30は、通信部31、カメラ34などを備える。通信部31は、携帯端末装置20との間でデータ(情報)の送受信を行う。通信部31は、ブルートゥース(登録商標)などの通信規格に基づく無線通信ネットワークで携帯端末装置20と接続可能である。
A
カメラ34は、人の身体に装着されて周囲(水平360度)のカメラ映像を撮ることができる。カメラ34は、全方位のカメラ映像を撮れるCCD(Charge Coupled Device)カメラなどで構成される。なお、カメラ34は、必ずしも全方位カメラでなくてもよい。人の身体の前後左右を含む周囲のカメラ映像を撮影できるカメラ34を備えるものであれば、どのようなウエアラブル装置30であってもよい。例えば複数のカメラ34で身体周囲のカメラ映像を撮影できるものでもよい。また、ウエアラブル装置30の種類は図示する耳掛けタイプに限られない。人の身体の周囲の映像を撮影可能なカメラ34を装着していれば、メガネタイプ、ヘッドホンタイプ、首掛けタイプなどどのような種類であってもよい。カメラ34は、CCDカメラに限られず、Webカメラ、IoTカメラなどであってもよい。
The
ウエアラブル装置30は、携帯端末装置20に接続されると、カメラ34を起動してそのカメラ映像を携帯端末装置20に送信する。携帯端末装置20は、ウエアラブル装置30からのカメラ映像を映像処理装置40に送信する。
When connected to the mobile
映像処理装置40は、通信部41、制御部42、記憶部43などを備える。制御部42と、通信部41、記憶部43とはそれぞれバスライン40Lに接続され、相互にデータ(情報)のやり取りが可能である。通信部41は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10や携帯端末装置20との間でデータ(情報)の送受信を行う。通信部41は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。
The
制御部42は、映像処理装置40全体を統括的に制御する。制御部42は、MPUなどの集積回路で構成される。制御部42は、CPU、RAM、ROMを備える。制御部42は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
The
記憶部43は、制御部42で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体の例示である。記憶部43は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部43の構成はこれらに限られず、記憶部43をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部43をSSD(Solid State Drive)で構成することもできる。
The
記憶部43には、携帯端末装置20を介して受信されるウエアラブル装置30からのカメラ映像が所定の映像時間ごとの複数の映像データ432として記憶される。具体的には記憶部43には、例えば図3のデータテーブルのように所定の映像時間ごとの複数の映像データが記憶される。図3のデータテーブルには、ユーザID、映像データ、映像日時、映像時間、場所などが関連付けられて記憶される。
The
図3の映像日時は映像データ432の撮影日と映像開始時刻である。図3では、映像時間を5分にした場合を例示しているので、5分ごとの映像データが記憶される。映像時間は設定可能であり、5分に限られず、1分ごと、数秒ごとなどどのように設定してもよい。映像時間は、携帯端末装置20からのユーザ入力により自由に変えられる。
The video date and time in FIG. 3 are the shooting date and video start time of the
また、映像時間は、ユーザの速度に応じて変えるようにしてもよい。ユーザの速度は、携帯端末装置20の加速度センサによって検知できる。例えばユーザが歩行する場合と、自転車を運転する場合とで映像時間を変えることもでき、ユーザの速度が速いほど映像時間を短くできる。これによれば、衝撃時の映像データの映像時間が長すぎたり、逆に短すぎたりせず、ユーザの速度に応じた最適な映像時間の映像データを得られる。場所は映像データの撮影場所であり、例えば映像開始時のGPSデータから特定した場所を記憶する。なお、映像データ432は図3に示すデータテーブルに限られず、データテーブルの項目も図3に示すものに限られない。
Also, the video time may be changed according to the speed of the user. The user's speed can be detected by the acceleration sensor of the mobile
なお、記憶部43には、図示しないプログラム記憶部、データ記憶部などを備える。プログラム記憶部には、制御部42で実行されるプログラムが記憶される。データ記憶部には、プログラムによって使用される各種データが記憶される。記憶部43は、ハードディスクで構成されていてもよく、フラッシュメモリなどの半導体メモリで構成されていてもよい。例えば記憶部43をSSDで構成することもできる。
Note that the
制御部42は、時刻データ取得部421と映像データ選択部422を備える。時刻データ取得部421は、ウエアラブル情報処理装置10からの衝撃時の時刻データを取得する。映像データ選択部422は、図3に示すような複数の映像データから衝撃時の時刻データに基づいて少なくともその時刻の映像を含む映像データを取得する。取得された映像データは、通信部41を介してウエアラブル情報処理装置10に送信される。
The
地図処理装置50は、通信部51、制御部52、記憶部53などを備える。制御部52と、通信部51、記憶部53とはそれぞれバスライン50Lに接続され、相互にデータ(情報)のやり取りが可能である。通信部51は、ネットワークNと有線又は無線で接続され、ウエアラブル情報処理装置10との間でデータ(情報)の送受信を行う。通信部51は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IP、Wi-Fi(登録商標)、ブルートゥース(登録商標)を用いた通信などが可能である。
The
制御部52は、地図処理装置50全体を統括的に制御する。制御部52は、MPUなどの集積回路で構成される。制御部52は、CPU、RAM、ROMを備える。制御部52は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
The
記憶部53は、制御部52で実行される各種プログラムやこれらのプログラムによって使用されるデータを記憶する記憶媒体の例示である。記憶部53は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部53の構成はこれらに限られず、記憶部53をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部53をSSD(Solid State Drive)で構成することもできる。
The
記憶部53には、地図データ532などが記憶される。なお、記憶部53には、図示しないプログラム記憶部、データ記憶部などを備える。プログラム記憶部には、制御部52で実行されるプログラムが記憶される。データ記憶部には、プログラムによって使用される各種データが記憶される。記憶部53は、ハードディスクで構成されていてもよく、フラッシュメモリなどの半導体メモリで構成されていてもよい。例えば記憶部53をSSDで構成することもできる。
The
制御部52は、GPSデータ取得部521と地図データ選択部522を備える。GPSデータ取得部521は、ウエアラブル情報処理装置10からの衝撃時のGPSデータを取得する。地図データ選択部522は、取得したGPSデータに基づいて少なくともその緯度と経度の地図を含む地図データを取得する。取得された地図データは、通信部51を介してウエアラブル情報処理装置10に送信される。
The
図2のウエアラブル情報処理装置10は、通信部11と制御部12と記憶部14とを備える。制御部12と、通信部11、制御部12、記憶部14とはそれぞれバスライン10Lに接続され、相互にデータ(情報)のやり取りが可能である。
The wearable
通信部11は、ネットワークNと有線又は無線で接続され、携帯端末装置20と映像処理装置40と地図処理装置50との間でデータ(情報)の送受信を行う。通信部11は、インターネットやイントラネットの通信インターフェースとして機能し、例えばTCP/IPやWi-Fi(登録商標)、ブルートゥース(登録商標)などを用いた通信が可能である。
The
制御部12は、ウエアラブル情報処理装置10全体を統括的に制御する。制御部12は、MPUなどの集積回路で構成される。制御部12は、CPU、RAM、ROMを備える。制御部12は、必要なプログラムをROMにロードし、RAMを作業領域としてそのプログラムを実行することで、各種の処理を行う。
The
記憶部14は、制御部12で実行される各種プログラムやこれらのプログラムによって使用されるデータなどを記憶するコンピュータ読み取り可能な記憶媒体である。記憶部14は、ハードディスク、光ディスク、磁気ディスクなどの記憶装置で構成される。記憶部14の構成はこれらに限られず、記憶部14をRAMやフラッシュメモリなどの半導体メモリなどで構成してもよい。例えば記憶部14をSSD(Solid State Drive)で構成することもできる。
The
記憶部14は、プログラム記憶部231、データ記憶部232を備える。プログラム記憶部231には、制御部12で実行されるプログラムが記憶される。データ記憶部232には、プログラムによって使用される各種データが記憶される。制御部12は、プログラム記憶部15から必要なプログラムを読み出して各種の処理を実行する。
The
データ記憶部16には、ユーザデータ161、取得データ162、生成データ163などが記憶される。データ記憶部16には、上記の他、図8に例示する事故発生状況報告書126Aのフォームや図9に例示する事件発生状況報告書126Bのフォームなどが記憶される。ユーザデータ161には、例えば図4のデータテーブルのように、ユーザID、氏名、電話番号、住所、ウエアラブル装置の種類、通報先などが記憶される。これらのユーザデータ161は、ユーザから事前に入力されたものが予め記憶される。「ウエアラブル装置の種類」は、携帯端末装置20に接続するウエアラブル装置30の種類である。
The
図4の「ウエアラブル装置の種類」の項目には、例えば耳掛けタイプ、メガネタイプ、ヘッドホンタイプ、首掛けタイプなどが記憶される。「通報先」は、事故の発生や事件の発生を通報する保険会社や警察などである。通報先が登録されている場合には、携帯端末装置20からユーザの指示(例えばアプリケーション上のボタンをクリック)により、ウエアラブル情報処理装置10で自動生成された状況報告書やデータを自動で送信できる。なお、ユーザデータ161は図4に示すデータテーブルに限られず、データテーブルの項目も図4に示すものに限られない。
In the item of "type of wearable device" in FIG. 4, for example, an ear type, a glasses type, a headphone type, a neck type, and the like are stored. The “report destination” is an insurance company, the police, or the like that reports the occurrence of an accident or incident. When the report destination is registered, the situation report and data automatically generated by the wearable
取得データ162は、ウエアラブル情報処理装置10が通信部11を介して取得する各種データである。取得データ162には、映像処理装置40から取得する映像データ432、携帯端末装置20から取得する状況データ、地図処理装置50から取得する地図データ532などが含まれる。生成データ163は、ウエアラブル情報処理装置10が生成したデータである。生成データ163としては、ウエアラブル情報処理装置10で生成された状況略図データや状況報告データなどを含む。
The acquired
制御部12は、映像データ取得部121、状況データ取得部122、地図データ取得部123、状況略図生成部125、状況報告生成部126を備える。映像データ取得部121は、通信部11を介して映像処理装置40からの映像データ(例えば衝撃時の映像データ)を取得する。状況データ取得部122は、通信部11を介して携帯端末装置20からの状況データ(例えば衝撃時の時刻データ及びGPSデータを含む状況データ)を取得する。地図データ取得部123は、通信部11を介して地図処理装置50からの地図データ(例えば衝撃時の地図データ)を取得する。
The
状況略図生成部125は、少なくとも映像データ取得部121で取得された映像データと地図データ取得部123で地図データに基づいて状況略図を生成する。状況略図には例えば事故の場合の事故状況略図、事件の場合の事件状況略図が含まれる。具体的には状況略図生成部125は、事故の場合には事故状況略図を自動的に生成し、事件の場合には事件状況略図を自動的に生成する。状況略図生成部125で生成された状況略図は、データ記憶部16に生成データ163として記憶される。
The schematic situation
状況報告生成部126は、状況略図を含む状況報告を生成する。状況報告には、例えば事故の場合の事故発生状況報告書、事件の場合の事件発生状況報告書が含まれる。具体的には状況報告生成部126は、事故の場合には事故状況略図を図8の事故発生状況報告書126Aのフォームのうち事故状況略図」の欄に自動的に入力する。状況報告生成部126は、携帯端末装置20からの状況データに基づいて図8の事故発生状況報告書126Aのフォームのうち該当欄(事故詳細情報や事故状況説明の欄)に該当データを自動的に入力する。こうして、状況報告生成部126は図8に示すような事故発生状況報告書126Aを自動的に生成する。
A
状況報告生成部126は、事件の場合には事件状況略図を図9の事件発生状況報告書126Bのフォームのうち事件状況略図の欄に自動的に入力する。状況報告生成部126は、携帯端末装置20からの状況データに基づいて図9の事件発生状況報告書126Bのフォームのうち該当欄(事件詳細情報や事件状況説明の欄)に該当データを自動的に入力する。こうして、状況報告生成部126は図9に示すような事件発生状況報告書126Bを自動的に生成する。
In the case of an incident, the situation
図5は、第1実施形態に係るウエアラブル情報処理システム100全体の処理を説明するフローチャートである。図5に示すようにウエアラブル情報処理システム100は、ウエアラブル情報処理装置10と、携帯端末装置20、映像処理装置40、地図処理装置50とでデータのやり取りを行いながら処理を実行する。
FIG. 5 is a flowchart for explaining the overall processing of the wearable
図5に示すように、先ずステップS10にて携帯端末装置20は専用のアプリケーションプログラムが起動されたか否かを判断する。この専用のアプリケーションプログラムは、携帯端末装置20がウエアラブル装置30とウエアラブル情報処理装置10と映像処理装置40と連携してウエアラブル情報処理を行うための専用のアプリケーションプログラムである。
As shown in FIG. 5, first, in step S10, the mobile
ステップS10にて携帯端末装置20は専用のアプリケーションプログラムが起動されたと判断すると、ウエアラブル装置30との接続をユーザに確認する。ユーザは人体(例えば耳掛けタイプなら耳)に装着したウエアラブル装置30を起動すると、携帯端末装置20にブルートゥース(登録商標)などにより接続される。ウエアラブル装置30は、携帯端末装置20に接続されると、カメラ34を起動してカメラ映像34aを映像処理装置40に送信する。すると、映像処理装置40はカメラ映像34aを所定の映像時間ごと(例えば図3では5分ごと)の複数の映像データ432として記憶する。
When the mobile
次にステップS11にて携帯端末装置20の制御部22は衝撃を検知したか否かを判断する。携帯端末装置20の制御部22が衝撃を検知してないと判断した場合には、衝撃検知の判断を続ける。具体的には制御部22はセンサデータ取得部221で取得したセンサデータ(加速度データ)を監視し、衝撃検知部222が例えば加速度が所定値を超えたと判断したときに衝撃を検知する。
Next, in step S11, the
ステップS11にて携帯端末装置20の制御部22は衝撃を検知したと判断した場合は、衝撃データ223aを収集し、その衝撃データ223aをウエアラブル装置30に送信する。衝撃データ223aは、制御部22の衝撃データ収集部223により収集される。衝撃データ223aとしては、衝撃時の時刻データ、衝撃時のGPSデータ、衝撃時の加速度データなどが挙げられる。
When the
ウエアラブル装置30は、衝撃データ223aを受信すると、携帯端末装置20にプッシュ通知Pを送信する。携帯端末装置20はプッシュ通知Pを受信すると、ステップS12にて事故か又は事件かを判断する。具体的には携帯端末装置20は例えば図6に示すような事故事件選択画面を表示部28に表示する。図6に示す事故事件選択画面は、ユーザに衝撃があったことを知らせ、「事故の発生」、「事件の発生」、「どちらでもない」を選択してもらうための表示である。
The
ステップS12にて図6の表示画面でユーザが「どちらでもない」を選択した場合は、この衝撃は事故事件の発生ではないとして、携帯端末装置20は衝撃検知の判断を続ける。これに対して図6の表示画面でユーザが「事故の発生」又は「事件の発生」を選択した場合は、ステップS13にて携帯端末装置20は状況入力処理を実行する。状況入力処理では、例えば事故発生であれば事故用アンケートを表示部28に表示し、事件発生であれば事件用アンケートを表示部28に表示する。
If the user selects "neither" on the display screen of FIG. 6 in step S12, the mobile
事故用アンケートは、図8に例示する事故発生状況報告書126Aのフォームに入力するデータを取得するためのアンケートである。事故発生状況報告書126Aのフォームに入力するデータのうち、例えば携帯端末装置20で取得できるデータ(センサデータ、天気データ、時刻データなど)では分からない未知データをユーザにより事故用アンケートで入力されたデータで補足できる。ここでの未知データとは、例えば図8の事故詳細情報のうち事故発生時の交通状況や信号の状態、相手のデータ(住所・氏名・電話番号など)や事故状況説明などである。これらの未知データを事故用アンケートで質問形式にすることで、ユーザに入力してもらいやすくすることができる。アンケートの事故状況説明には、例えば当たり屋のような場合を説明することで、発生前後の状況が分かるので不当請求などによる被害を未然に防ぐことができる。
The accident questionnaire is a questionnaire for obtaining data to be entered in the form of the accident
事件用アンケートは、図9に例示する事件発生状況報告書126Bのフォームに入力するデータを取得するためのアンケートである。事件発生状況報告書126Bのフォームに入力するデータのうち、例えば携帯端末装置20で取得できるデータ(センサデータ、天気データ、時刻データなど)では分からない未知データをユーザにより事件用アンケートで入力されたデータで補足できる。ここでの未知データとは、例えば図9の事件詳細情報のうち事件発生時の現場状況や人混み、相手のデータ(年齢男女・容姿など)や事件状況説明などである。これらの未知データを事件用アンケートで質問形式にすることで、ユーザに入力してもらいやすくすることができる。アンケートの事件状況説明には、例えばえん罪のような場合を説明することで、発生前後の状況が分かるので虚偽告訴などの被害を未然に防ぐことができる。
The incident questionnaire is a questionnaire for obtaining data to be entered in the incident
次に携帯端末装置20は、衝撃時の状況データ122aをウエアラブル情報処理装置10に送信する。この衝撃時の状況データ122aには、衝撃時の時刻データ224a、衝撃時のGPSデータ、事故事件選択データ(図6の事故事件選択画面から選択されたデータ)、アンケートの入力データ、センサデータ(衝撃センサの加速度データなど)、衝撃時の天気データなど状況報告生成に必要なデータが含まれる。
Next, the mobile
ウエアラブル情報処理装置10は、通信部11を介して衝撃時の状況データ122aを受信すると、その状況データ122aのうち衝撃時の時刻データ224aを映像処理装置40に送信する。
When the wearable
映像処理装置40は、通信部41を介して衝撃時の時刻データ224aを受信すると、その時刻データ224aの時刻の映像を含む衝撃時の映像データ422aを、記憶部43に記憶された映像データ432から取得して、ウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は、通信部11を介して衝撃時の映像データ422aを受信する。
When the
こうして、ウエアラブル情報処理装置10の映像データ取得部121は、映像処理装置40の記憶部43に記憶された複数の映像データ432(ウエアラブル装置30のカメラ映像)から、時刻データ224aの時刻の映像を含む衝撃時の映像データ422aを取得する。なお、映像データ取得部121は、衝撃時の時刻データ224aの時刻の映像を含む映像データとその前後の映像データを衝撃時の映像データ422aとして取得してもよい。
In this way, the image
またウエアラブル情報処理装置10は、通信部11を介して衝撃時の状況データ122aを受信すると、その状況データ122aのうち衝撃時のGPSデータ224bを地図処理装置50に送信する。
When the wearable
地図処理装置50は、通信部51を介して衝撃時のGPSデータ224bを受信すると、記憶部50に記憶された地図データ532から、その衝撃時のGPSデータ224bの緯度と経度の地図を含む所定範囲の衝撃時の地図データ522aを取得してウエアラブル情報処理装置10に送信する。ウエアラブル情報処理装置10は通信部11を介して衝撃時の地図データ522aを受信する。
When the
こうして、ウエアラブル情報処理装置10の地図データ取得部123は、地図処理装置50から衝撃時のGPSデータ224bの緯度と経度の地図を含む地図データを取得する。地図データ取得部123は、衝撃時のGPSデータ224bの緯度と経度を中心とした所定範囲の地図を衝撃時の地図データ522aとして取得する。所定範囲は予め設定されており、携帯端末装置20からのユーザからの入力で所定設定を変更できるようにしてもよい。
In this way, the map
次にウエアラブル情報処理装置10は、映像処理装置40から衝撃時の映像データ422aを取得し、地図処理装置50から衝撃時の地図データ522aを取得すると、ステップS20にて状況報告生成処理を実行する。状況報告生成処理は、衝撃時の状況データ122a、衝撃時の映像データ422a、衝撃時の地図データ522aに基づいて状況報告書(事故発生状況報告書又は事件発生状況報告書)を自動的に生成する処理である。この状況報告生成処理の詳細は後述する。
Next, when the wearable
ウエアラブル情報処理装置10で生成された状況報告データ126a(事故発生状況報告書又は事件発生状況報告書のデータ)は、通信部11を介して携帯端末装置20に送信される。携帯端末装置20は、状況報告データ126aを受信すると、ステップS14にて状況報告(事故発生状況報告書又は事件発生状況報告書)を表示部28に表示し、ステップS15にて通報するか否かを判断する。具体的には携帯端末装置20は、図7に示す通報指示画面を表示部28に表示する。図7に示す通報指示画面には、予め登録された保険会社などを表示し、その保険会社などに「通報する」又は「通報しない」をユーザに選択してもらうための表示である。
The situation report
ステップS15にて図7の表示画面でユーザが「通報する」を選択した場合は、ステップS16にて携帯端末装置20は予め登録された保険会社などに通報する。このとき、通報と共に状況報告データ126a(事故発生状況報告書又は事件発生状況報告書のデータ)を送信するようにしてもよい。なお、通報先は、予め記憶された保険会社などに限られない。警察や消防署を含めるようにしてもよい。警察への通報と状況報告データ126aの送信を同時にすることで、警察も事故事件を早期に把握できる。ステップS16の通報により、一連の処理は終了し、カメラ映像の送信が停止される。
If the user selects "report" on the display screen of FIG. 7 in step S15, the portable
他方、ステップS15にて図7の表示画面でユーザが「通報しない」を選択した場合は、携帯端末装置20は通報せずに衝撃検知の判断を続ける。このようなウエアラブル情報処理システム100による一連の処理は、携帯端末装置20の専用のアプリケーションプログラムが終了するまで実行される。
On the other hand, if the user selects "do not report" on the display screen of FIG. 7 in step S15, the portable
なお、ウエアラブル装置30のカメラ34によるカメラ映像の送信は、所定のタイミングで停止されるようにしてもよい。例えばウエアラブル装置30のカメラ34がオフにされた場合、ウエアラブル装置30の電源がオフにされた場合、ウエアラブル装置30との接続がオフにされた場合などにカメラ映像の送信を停止するようにしてもよい。カメラ映像の送信を停止するタイミングはこれに限られない。
Transmission of the camera image by the
また、映像処理装置40は、記憶部43に記憶された映像データ432を所定のタイミングで削除するようにしてもよい。例えば携帯端末装置20の専用のアプリケーションプログラムが終了されたタイミングやウエアラブル装置30の電源がオフにされたタイミングで映像データ432を削除してもよい。映像データ432を削除するタイミングはこれに限られない。また、映像データ432は一定期間保存してから削除するようにしてもよい。映像データ432の保管期間は携帯端末装置20からのユーザ入力により自由に変えられるようにしてもよい。
Also, the
次に、上述した図5のステップS20にてウエアラブル情報処理装置10が行う状況報告生成処理について図面を参照しながら説明する。図10は、状況報告生成処理の具体例を示すフローチャートである。図10の状況報告生成処理は、制御部12(映像データ取得部121、状況データ取得部122、地図データ取得部123、状況略図生成部125、状況報告生成部126など)によってプログラム記憶部15から必要なプログラムが読み出されて実行される。
Next, the situation report generation processing performed by the wearable
先ず制御部12は、図10のステップS210にて状況データ取得部122により携帯端末装置20からの衝撃時の状況データ122aを取得したかを判断する。制御部12は、衝撃時の状況データ122aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の状況データ122aを取得したと判断した場合は、ステップS220にて映像データ取得部121により映像処理装置40から衝撃時の映像データ422aを取得したかを判断する。
First, the
ステップS210にて制御部12は、衝撃時の映像データ422aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の映像データ422aを取得したと判断した場合は、ステップS230にて地図データ取得部123により地図処理装置50からの衝撃時の地図データ522aを取得したかを判断する。
If the
制御部12は、ステップS220にて衝撃時の地図データ522aを取得してないと判断した場合はステップS210の処理に戻り、衝撃時の地図データ522aを取得したと判断した場合は、ステップS240にて事故か否かを判断する。具体的には制御部12は、携帯端末装置20からの状況データのうち事故事件選択データ(図6の事故事件選択画面から選択されたデータ)から事故か事件かを判断する。
If the
制御部12は、ステップS240にて事故であると判断した場合は、ステップS242にて図8の事故発生状況報告書126Aのフォームをデータ記憶部16から取得する。制御部12は、ステップS240にて事故でないと判断した場合は、ステップS250にて事件か否かを判断する。
If the
制御部12は、ステップS250にて事件でないと判断した場合は、ステップS220の処理に戻り、ステップS250にて事件であると判断した場合は、ステップS252にて図9の事件発生状況報告書126Bのフォームをデータ記憶部16から取得し、ステップS260にて状況略図生成処理を行う。
If the
ここで、状況略図生成処理の具体例について図11乃至図15を参照しながら説明する。図11は、状況略図生成処理の具体例を示すフローチャートである。図12は、状況略図生成処理で選出された映像データの具体例を示す図である。図13は、状況略図生成処理で生成された現場状況略図の具体例を示す図である。図14は、状況略図生成処理で生成された現場付近地図の具体例を示す図である。図15は、状況略図生成処理で生成された状況略図の具体例を示す図である。 Here, a specific example of the schematic situation diagram generating process will be described with reference to FIGS. 11 to 15. FIG. FIG. 11 is a flow chart showing a specific example of the schematic situation diagram generation process. FIG. 12 is a diagram showing a specific example of video data selected in the schematic situation diagram generation process. FIG. 13 is a diagram showing a specific example of the schematic site situation map generated by the schematic situation map generation process. FIG. 14 is a diagram showing a specific example of the near-site map generated by the schematic situation diagram generation process. FIG. 15 is a diagram showing a specific example of the schematic situation diagram generated by the schematic situation diagram generation process.
図12乃至図15は、ユーザを甲pA(Party pA)とすると、甲が青信号で横断歩道を渡りはじめたときに、乙pB(Party pB)の運転する自転車が横断歩道に侵入し、甲に衝突したという事故について、状況略図を生成する場合の例示である。これは甲が被害者、自転車の乙が加害者の場合である。 12 to 15, if the user is Party pA (Party pA), when Party A starts crossing the crosswalk with a green light, a bicycle driven by Party pB (Party pB) intrudes into the pedestrian crossing, causing Party A to This is an example of generating a schematic situation diagram for an accident of collision. This is the case where Party A is the victim and Party B on the bicycle is the perpetrator.
図11の状況略図生成処理は、衝撃時の映像データ422a、衝撃時の地図データ522a、衝撃時の状況データ122aに基づいて状況略図(事故状況略図又は事件状況略図)を自動で生成する処理であり、状況略図生成部125により所定のプログラムが読み出されて実行される。
11 is a process for automatically generating a schematic situation map (a schematic accident situation map or a schematic incident situation map) based on the
図11に示すように状況略図生成部125は、ステップS261にて略図生成用の映像を選出する。具体的には衝撃時の映像データ422aから図12に示すような略図生成用の映像(静止画像)を選出する。図12は、衝撃時の時刻の所定時間前(例えば数秒前)の映像(静止画像)である。図12によれば、乙の自転車が横断歩道に侵入しようとしているときの略図生成用映像422bである。このように略図生成用映像422bは、衝撃時の時刻の映像ではなく、衝撃時の時刻の数秒前の映像を選出することが好ましい。
As shown in FIG. 11, the schematic situation
例えば状況略図生成部125は、衝撃時の映像データ422aから衝撃時の時刻の映像に写っている乙と自転車を検出し、その乙が写っている数秒前の映像を選出する。映像からの乙と乙の運転する自転車など人物や乗り物の検出は、例えば機械学習やAI(人工知能)などにより学習させた学習済みモデルを利用する。
For example, the schematic situation
次にステップS262にて状況略図生成部125は、選出した略図生成用映像422bから現場状況略図を生成する。現場状況略図422cは、例えば図13に示すようにユーザ甲の頭を中心に数秒前の乙と乙の運転する自転車を含む所定の範囲の略図であり、甲と乙の自転車を所定の略記号に置き換えたものである。甲は人を表す記号に置き換えて表示し、乙と自転車は自転車を表す所定の記号に置き換えて表示する。このように人物が乗り物に乗っている場合には、人物と乗り物をそれぞれの記号に置き換えるのではなく、人物と乗り物をまとめてその乗り物を表す記号に置き換える。所定の記号は、例えば事故発生状況報告書で人や自転車やバイクなどの記号が決められていればその記号を予めデータ記憶部16に記憶しておき、ユーザ甲や乙をその記号で置き換える。このように、予め決められた記号を使って状況略図を生成できるので、本実施形態で自動生成された状況報告書をそのまま正式な書面として各所へ提出できる。
Next, in step S262, the schematic situation
図13の現場状況略図422cにおいて、ユーザ甲と乙の位置は、衝撃時のGPSデータ224bと映像データの分析によって決定できる。本実施形態の映像データは360度のカメラ映像なので数秒前の映像からおおよその乙の方向と距離が分かる。ユーザ甲の位置は、GPSデータで緯度と経度が分かるので、その乙の方向と距離によりおおよその乙のGPSデータを計算できる。こうして、ユーザ甲と乙の地図上の位置(GPSデータ)に置き換えることができる。なお、ユーザ甲と乙との距離は、数秒前の映像を画像認識して乙の画像の大きさから算出してもよい。
In the scene situation diagram 422c of FIG. 13, the positions of users A and B can be determined by analysis of
次いで状況略図生成部125は、ステップS263にて略図生成用の地図を選出し、ステップS264にてその略図生成用の地図から現場付近地図を生成する。具体的には衝撃時の地図データ522aから図14に示すような略図生成用の地図の範囲を選出し、現場付近地図522bを生成する。図14は、図13のユーザ甲と乙の地図上の位置を含む現場付近地図522bである。図14では、衝撃時の数秒前の甲の位置と乙の位置とを×で示す現場状況略図422cの範囲を点線で重ねている。
Next, the schematic situation
続いて状況略図生成部125は、ステップS265にて現場状況略図422cと現場付近地図522bから状況略図125aを生成する。具体的には状況略図生成部125は、図13に示すような現場状況略図422cを図14に示すような現場付近地図522bに重ねて、図15に示すような状況略図125aを生成する。
Subsequently, the schematic situation drawing
そして、状況略図生成部125は、ステップS266にて状況略図125aをデータ記憶部16に生成データ163として記憶して一連の状況略図生成処理を終了し、図10のステップS270の処理に移る。
Then, in step S266, the schematic situation
図10のステップS270にて制御部12は、状況報告を生成する。具体的にはステップS240にて事故と判断した場合は、状況報告生成部126が図8に示す事故発生状況報告書126Aのフォームに事故状況略図と該当データを入力し、事故発生状況報告書126Aを自動で生成する。他方、ステップS240にて事件と判断した場合は、状況報告生成部126が図9に示す事件発生状況報告書126Bのフォームに事件状況略図と該当データを入力し、事件発生状況報告書126Bを自動で生成する。
In step S270 of FIG. 10,
次にステップS280にて制御部12は、生成した状況報告(事故発生状況報告書126A又は事件発生状況報告書126B)を生成データ163としてデータ記憶部16に記憶し、一連の状況報告生成処理を終了する。
Next, in step S280, the
このような第1実施形態によれば、ユーザに装着されるウエアラブル装置30からのカメラ映像に基づいて事故又は事件の状況報告を自動的に生成できる。このように、ユーザに装着されるウエアラブル装置30からのカメラ映像を用いることで、ユーザが自動車を運転しているときだけでなく、歩いているときや自転車やバイクに乗っているときにもユーザの周囲の映像を記憶しておくことができる。したがって、そのユーザが巻き込まれた事故の状況報告だけでなく、ひったくりなどの事件の状況報告まで自動的に生成できる。これにより、自動車に搭載したカメラ映像では報告書を生成できない事故や事件、例えば人と自転車やバイク、人と人との事故や事件の状況報告をも自動的に生成できる。
According to the first embodiment as described above, it is possible to automatically generate a situation report of an accident or incident based on a camera image from the
しかも、事故又は事件の発生時(第1実施形態では衝撃時)の時刻データから映像データを取得し、GPSデータから地図データを取得して状況略図まで自動的に生成できるので、事故や事件に巻き込まれて気が動転していても、正確に現場の状況を伝える状況報告をその場で生成できる。これにより、事故や事件の状況を迅速かつ正確に保険会社や警察に伝えることができ、事故や事件の早期解決も期待できる。 Moreover, video data can be obtained from the time data when an accident or incident occurs (at the time of impact in the first embodiment), map data can be obtained from GPS data, and a schematic diagram of the situation can be automatically generated. Even if you are caught up in and upset, you can generate a situation report on the spot that accurately conveys the situation on the ground. As a result, the circumstances of accidents and incidents can be quickly and accurately reported to insurance companies and the police, and early resolution of accidents and incidents can be expected.
また、ウエアラブル装置30を装着したユーザの周囲の映像をカメラ映像として用いるので、例えば自転車に衝突された事故であればその自転車がどちらの方向から衝突したのかが分かる。また、ひったくり犯人がどちらの方向からやってきたのかも分かる。
In addition, since the image around the user wearing the
さらに、本実施形態によれば、ユーザの周囲の映像データから少なくとも事故又は事件を引き起こした対象(例えば自転車・バイク・自動車等の乗り物、歩行者・ランナー等の人物)の画像を検出し、その対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図と現場付近地図から状況略図を自動で生成できるから、単に映像データの画像を状況報告に貼りつける場合と比較して、その画像から状況略図への加工の手間を省くことができる。このように、加工しなくても保健会社や警察にそのまま送信できる状況略図を含む状況報告書が自動で生成されるので、事故や事件に巻き込まれて気が動転していても、正確に状況を伝えることができる。 Furthermore, according to this embodiment, at least an image of an object (for example, a vehicle such as a bicycle, a motorcycle, a car, or a person such as a pedestrian or a runner) that caused an accident or an incident is detected from image data around the user, and the image of the object is detected. Since the target image can be replaced with a predetermined symbol and the situation map can be automatically generated from the site situation map indicated by the position on the map and the site area map, compared to simply pasting the image of the video data to the situation report, It is possible to omit the trouble of processing the image into a schematic diagram of the situation. In this way, a situation report is automatically generated that includes a schematic diagram of the situation that can be sent to the health company or the police without editing, so even if you are upset about being involved in an accident or incident, you can accurately report the situation. can tell
また、本実施形態によれば、ウエアラブル装置30からのカメラ映像を所定の映像時間ごとの複数の映像データとして分けて記憶するから、複数の映像データに分けないで記憶する場合に比較して、事故や事件が発生した時刻の前後の映像を特定しやすい。また衝撃を検知しても携帯端末装置20を落としただけなど、事故の発生又は事件の発生してない場合もある。本実施形態によれば、状況データ取得部122が携帯端末装置20から取得する状況データには事故の発生又は事件の発生が選択された情報が含まれるから、事故の発生又は事件の発生がなければ状況報告書は自動で生成されないようにすることができるので、状況報告書生成の無駄を抑制できる。
Further, according to the present embodiment, since the camera video from the
また、本実施形態の状況報告生成部126は、携帯端末装置20からの状況データにより事故か事件かを判断し、事故であると判断した場合は、所定の事故発生状況報告書のフォームから状況報告を生成し、事件であると判断した場合は、所定の事件発生状況報告書のフォームから状況報告を生成する。このように、事故又は事件のそれぞれのフォームに応じた状況報告を自動で生成できるので、後から所定のフォームに合わせて状況報告を作り直す手間を省ける。
In addition, the situation
<第2実施形態>
本発明の第2実施形態について説明する。以下に例示する各形態において実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。第1実施形態では、事故又は事件の状況報告書を自動で生成する場合を例示したが、第2実施形態では状況報告書だけでなく、さらに事故又は事件の過失割合報告書まで自動で生成する場合を例示する。なお、第2実施形態のウエアラブル情報処理装置10の構成は、第1実施形態と同様のためその詳細な説明を省略する。<Second embodiment>
A second embodiment of the present invention will be described. Constituent elements having substantially the same functional configuration in each form illustrated below are denoted by the same reference numerals, thereby omitting redundant description. In the first embodiment, the case of automatically generating a situation report of an accident or incident was exemplified, but in the second embodiment, not only the situation report but also the percentage of fault report of the accident or incident is automatically generated. Illustrate the case. Note that the configuration of the wearable
図16は、第2実施形態のウエアラブル情報処理システム100の概略構成を示す図であり、図2に対応する。図16の記憶部14は、事故判例データベース17及び事件判例データベース18を備える。またデータ記憶部16には、図19に例示する事故過失割合報告書127Aのフォームや図20に例示する事件過失割合報告書127Bのフォームが記憶される。図16の制御部12は、過失割合報告生成部127を備える。
FIG. 16 is a diagram showing a schematic configuration of the wearable
過失割合報告生成部127は、状況報告生成部126で生成した状況報告と類似の判例を選出し、選出した判例に基づいて過失割合報告書を自動で生成する。具体的には過失割合報告生成部127は、事故の場合は、事故発生状況報告書126Aの事故状況広告データと類似の判例を事故判例データベース17から選出し、選出した判例に基づいて図19に例示する事故過失割合報告書127Aを自動で生成する。他方、過失割合報告生成部127は、事件の場合は、事件発生状況報告書126Bの事件状況報告データと類似の判例を事件判例データベース18から選出し、選出した判例に基づいて図20に例示する事件過失割合報告書127Bを自動で生成する。
The fault rate
図17は、第2実施形態に係るウエアラブル情報処理システム100全体の処理を説明するフローチャートであり、図5に対応する。図17の処理では、ステップS30にて過失割合報告生成処理を行う。
FIG. 17 is a flowchart for explaining the overall processing of the wearable
ここで、ステップS30の過失割合報告生成処理について図面を参照しながら説明する。図18は、過失割合報告生成処理の具体例を示すフローチャートである。図18の過失割合報告生成処理は、制御部12(過失割合報告生成部127など)によってプログラム記憶部15から必要なプログラムが読み出されて実行される。
Here, the fault rate report generation processing in step S30 will be described with reference to the drawings. FIG. 18 is a flow chart showing a specific example of fault rate report generation processing. 18 is executed by reading a necessary program from the
先ずステップS310にて過失割合報告生成部127は、状況報告生成処理(図17のステップS20)で生成した状況報告データ126a(事故状況報告データ又は事件状況報告データ)をデータ記憶部16から取得する。
First, in step S310, the fault rate
次に過失割合報告生成部127は、ステップS320にて事故状況報告データを取得したか否かを判断し、事故状況報告データを取得したと判断した場合は、ステップS322にて図19の事故過失割合報告書127Aのフォームをデータ記憶部16から取得する。
Next, the fault
そして、過失割合報告生成部127は、ステップS324にて事故判例データベース17を照合し、事故状況報告データと類似の判例を選出する。具体的には事故状況報告データに含まれる事故状況略図と事故判例データベース17の判例に含まれる事故状況略図とを照合し、事故状況略図が類似する判例を選出する。事故状況略図の照合は、機械学習やAI(人工知能)などによる学習済みモデルを用いることができる。
Then, in step S324, the fault rate
なお、ステップS324における判例の選出は、事故状況略図を照合する場合を例に挙げたが、これに限られない。例えば事故状況報告データの事故状況略図以外のデータ(事故詳細情報や事件状況説明など)を照合するようにしてもよい。 In addition, although the case where the accident situation schematic drawing was collated was mentioned as an example, the selection of the judicial precedent in step S324 is not restricted to this. For example, data (detailed information on the accident, explanation of the incident situation, etc.) other than the schematic diagram of the accident situation in the accident situation report data may be collated.
過失割合報告生成部127は、ステップS324にて判例を選出すると、ステップS340にて選出した判例から過失割合を抽出する。例えば図19における事故の判例情報の「過失割合」の欄に示すような基本過失割合と修正要素データに基づく過失割合評価とを抽出する。選出した判例は、例えば図19の備考の欄に参考判例として表示するようにしてもよい。修正要素データとしては、例えば図19に示すような事故現場が「幹線道路」「住宅街」かどうかやBの過失があったかどうか「Bの著しい過失」「Bの重過失」などが挙げられる。過失割合評価は、これらの修正要素データのそれぞれに対応して表示される数字である。図19は、Aに対する修正要素データの過失割合評価の具体例である。なお、修正要素データや過失割合評価は図示するものに限られない。例えば選出した判例によっては、Bに対する修正要素データと過失割合評価も表示され得る。
After selecting the judicial precedent in step S324, the fault
次にステップS350にて過失割合報告生成部127は、過失割合報告(例えば図19の事故過失割合報告書127A)を自動で生成する。具体的には事故状況報告データから事故詳細情報、事故状況図、事故状況説明などを抽出して、事故過失割合報告書127Aのフォームに入力する。またステップS324で選出した判例から事故状況略図を抽出し、ステップS340にて抽出した過失割合(基本過失割合、修正要素データ、過失割合評価など)と共に事故過失割合報告書127Aのフォームに入力する。
Next, in step S350, the fault
次にステップS360にて過失割合報告生成部127は、生成した過失割合報告(例えば図19の事故過失割合報告書127A)を生成データ163としてデータ記憶部16に記憶し、一連の過失割合報告生成を終了する。
Next, in step S360, the fault rate
他方、ステップS320にて過失割合報告生成部127は、事故状況報告データを取得していないと判断した場合は、ステップS330にて事件状況報告データを取得したか否かを判断する。過失割合報告生成部127は、ステップS330にて事件状況報告データを取得していないと判断した場合は、ステップS310の処理に戻る。
On the other hand, if the fault
ステップS330にて過失割合報告生成部127は、事件状況報告データを取得したと判断した場合は、ステップS332にて図20の事件過失割合報告書127Bのフォームをデータ記憶部16から取得する。
If the fault
そして、ステップS334にて過失割合報告生成部127は、事件判例データベース18を照合し、事件状況報告データと類似の判例を選出する。具体的には事件状況報告データに含まれる事件状況略図と事件判例データベース18の判例に含まれる事件状況略図とを照合し、事件状況略図が類似する判例を選出する。事件状況略図の照合は、機械学習やAI(人工知能)などによる学習済みモデルを用いることができる。
Then, in step S334, the fault
なお、ステップS334における判例の選出は、事件状況略図を照合する場合を例に挙げたが、これに限られない。例えば事件状況報告データの事件状況略図以外のデータ(事件詳細情報や事件状況説明など)を照合するようにしてもよい。 In addition, although the selection of judicial precedents in step S334 has been exemplified by collating case situation diagrams, it is not limited to this. For example, data (incident detailed information, incident situation explanation, etc.) other than the incident situation schematic diagram of the incident situation report data may be collated.
過失割合報告生成部127は、ステップS334にて判例を選出すると、ステップS340にて選出した判例から過失割合を抽出する。例えば図20における事件の判例情報の「過失割合」の欄に示すような基本過失割合と判例類型とを抽出する。判例類型としては、例えば図20に示すような「窃盗」「傷害」「強盗」「強盗致傷」などが挙げられる。例えば選出した判例に、これらの文字が含まれる場合は「○」を表示し、これらの文字が含まれない場合は「×」を表示する。なお、判例類型の表記はこれらに限られない。なお、事件の判例では、過失割合は被害者0:加害者100の場合が多く、過失割合の表記がない場合もあるので、その場合には過失割合を被害者0:加害者100と推定してこれを表記するようにしてもよい。ステップS334にて選出した判例は、備考の欄に参考判例として表示するようにしてもよい。
After selecting the judicial precedent in step S334, the fault
次にステップS350にて過失割合報告生成部127は、過失割合報告(例えば図20の事件過失割合報告書127B)を自動で生成する。具体的には事件状況報告データから事件詳細情報、事件状況図、事件状況説明などを抽出して、事件過失割合報告書127Bのフォームに入力する。またステップS334で選出した判例から事件状況略図を抽出し、ステップS340にて抽出した過失割合(基本過失割合、修正要素データ、過失割合評価など)と共に事件過失割合報告書127Bのフォームに入力する。
Next, in step S350, the fault
次にステップS360にて過失割合報告生成部127は、生成した過失割合報告(例えば図20の事件過失割合報告書127B)を過失割合報告データ127aの生成データ163としてデータ記憶部16に記憶し、一連の過失割合報告生成を終了する。図17に示すように、ウエアラブル情報処理装置10で生成された過失割合報告データ127a(事故過失割合報告書又は事件過失割合報告書のデータ)は、通信部11を介して携帯端末装置20に送信される。携帯端末装置20は、過失割合報告データ127aを受信すると、ステップS14にて状況報告(事故発生状況報告書又は事件発生状況報告書)と共に、過失割合報告(事故過失割合報告書又は事件過失割合報告書)を表示部28に表示し、ステップS15にて通報するか否かを判断する。以降の処理は図5と同様であるため詳細な説明を省略する。
Next, in step S360, the negligence
以上のように第2実施形態によれば、第1実施形態と同様に、ウエアラブル装置30のカメラ映像から事故や事件の状況報告を自動的に生成でき、さらに過失割合報告も自動的に生成できる。しかも、判例データベース(事故判例データベース17又は事件判例データベース18)を状況略図で照合するので、テキスト検索で判例を探す場合に比較して類似の判例を見つけやすい。また、人物や乗り物の画像を所定の記号に置き換えた状況略図を自動で生成できるので、判例などの状況略図との直接照合も可能となり、人物や乗り物の画像をそのまま貼りつける場合に比較して照合精度を大幅に向上できる。判例データに基づく過失割合報告を自動で生成できるので、同様のケースの過失割合が分かり、訴訟の提起や示談の判断をしやすくなり、保険会社も保険の適用を判断しやすくなる。
As described above, according to the second embodiment, similar to the first embodiment, it is possible to automatically generate a situation report of an accident or incident from the camera image of the
また、第2実施形態の判例データベースは、事故判例データベース17と事件判例データベース18に分けられ、過失割合報告生成部127は、携帯端末装置20からの状況データにより事故か事件かを判断し、事故であると判断した場合は、事故判例データベースから状況略図が類似する判例を選出し、事件であると判断した場合は、事件判例データベースから状況略図が類似する判例を選出する。これによれば、事故の場合は事故判例データベース17から状況略図が類似する判例が選出され、事件の場合は事件判例データベース18から状況略図が類似する判例を選出されるので、事故に応じた適切な判例を選出でき、また事件に応じた適切な判例や犯罪類型(条文など)を選出できる。
Further, the judicial precedent database of the second embodiment is divided into an accident judicial precedent database 17 and a case precedent database 18, and the fault
<変形例>
本発明は、上述した各実施形態に限定されず、例えば以降に説明する各種の応用・変形が可能である。また、これらの変形の態様および上述した各実施形態は、任意に選択された一または複数を適宜組み合わせることも可能である。また当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。<Modification>
The present invention is not limited to the above-described embodiments, and various applications and modifications described below are possible. Moreover, it is also possible to appropriately combine one or a plurality of arbitrarily selected aspects of these modifications and each of the above-described embodiments. In addition, it is clear that a person skilled in the art can conceive of various modifications or modifications within the scope described in the claims, and these naturally belong to the technical scope of the present invention. It is understood.
(1)上記第2実施形態において、事件の場合には、図21に示すような事件構成要件報告書127Cを作成して、図17のステップS14にて事件過失割合報告書の代わりに携帯端末装置20に表示させるようにしてもよい。図21の事件構成要件報告書127Cは、図20の過失割合の欄に、過失割合の代わりに事件罪状推定を表示したものである。例えば図18のステップS334で選出した判例から事件罪状推定を推定する。事件罪状推定は、図20の判例類型のように「窃盗」「傷害」「強盗」「強盗致傷」などが挙げられる。怪我がなければ「窃盗」の可能性があるが、被害者の犯行が抑圧されていれば「強盗」の可能性もある。怪我があれば「傷害」「強盗」「強盗致傷」の可能性があるが、「窃盗」と「傷害」の併合罪の可能性もある。強盗行為が行われてその際に被害者が怪我をしていれば「強盗致傷」になる可能性がある。また「窃盗」の際に、暴行が行われていなければ窃盗罪のみの可能性が高いが、暴行が行われていれば「窃盗」と「暴行」の併合罪の可能性がある。このように、可能性のある事件罪状を判例から推定できる。第2実施形態で説明した通り、事件の場合には、過失割合は被害者0:加害者100の場合が多く、過失割合の表記がない場合もあるので、そのような場合に事件構成要件報告書127Cを自動で作成してもよい。なお、この事件罪状推定を事件過失割合報告書127Cに載せるようにしてもよい。
(1) In the above-described second embodiment, in the case of a case, a case
(2)上記第1実施形態及び第2実施形態において、携帯端末装置20がウエアラブル情報処理を行うための専用のアプリケーションプログラムを実行しているときに、表示部28に緊急ボタンを表示するようにしてもよい。緊急ボタンは、携帯端末装置20が衝撃を検知しなくても、事故事件選択画面を表示するためのボタンである。緊急ボタンが押されると、例えば図22に示す事故事件選択画面が表示部28に表示される。
(2) In the first and second embodiments, the emergency button is displayed on the
この場合、図10及び図18のステップS11は衝撃検知か又は緊急ボタンが押されたかとし、緊急ボタンが押された場合のステップS11以降の処理においては、「衝撃時」とあるのを「緊急ボタン押下時」と読み替えて適用できる。具体的には例えば図10及び図18の衝撃時データは、緊急ボタン押下時データと読み替える。衝撃時の状況データ(時刻データ、GPSデータ、センサデータ)は、緊急ボタン押下時の状況データ(時刻データ、GPSデータ、センサデータ)と読み替える。衝撃時の映像データは、緊急ボタン押下時の映像データと読み替え、衝撃時の地図データは、緊急ボタン押下時の地図データと読み替える。 In this case, step S11 in FIGS. 10 and 18 assumes that the impact has been detected or the emergency button has been pressed. When the emergency button is pressed" can be read and applied. Specifically, for example, data at the time of impact in FIGS. 10 and 18 is read as data at the time of pressing the emergency button. The situation data (time data, GPS data, sensor data) at the time of impact is read as the situation data (time data, GPS data, sensor data) at the time of pressing the emergency button. The image data at the time of impact is read as the image data at the time of pressing the emergency button, and the map data at the time of impact is read as the map data at the time of pressing the emergency button.
このように、緊急ボタンで事故事件選択画面を携帯端末装置20に表示できるようにすることで、例えばストーカーのように携帯端末装置20に衝撃がほとんどないような事故や事件の場合も状況報告や過失割合報告を自動生成できる。
In this way, by enabling the accident case selection screen to be displayed on the mobile
(3)図10及び図18のステップS16の通報において、警察に通報する場合には、図23に示すような通報指示画面を表示部28に表示するようにしてもよい。これにより、事故や事件が発生した場合に、警察に通報するか否かを選択できる。警察への通報と共に状況報告書も警察に送信できるようにしてもよい。これにより、事故や事件の早急な解決を期待できる。特に緊急ボタンが押された場合に警察への通報指示画面を表示することで、緊急時の対応も可能になる。 (3) In the report in step S16 of FIGS. 10 and 18, when reporting to the police, a report instruction screen as shown in FIG. With this, it is possible to select whether or not to report to the police when an accident or incident occurs. A situation report may also be sent to the police along with the report to the police. As a result, it is possible to expect prompt resolution of accidents and incidents. In particular, when the emergency button is pressed, a screen for instructing to report to the police is displayed, making it possible to respond to emergencies.
(4)図11の状況略図生成処理において、衝撃時の映像データ422aから衝撃時の時刻の所定時間前(例えば数秒前)の映像(静止画像)を選出する場合を例示した。この衝撃時の時刻の所定時間前の映像としては、上述の図12のように映像データ422aである全方位映像の一部から生成された映像を用いることもできるが、これに限られず、後述する図25のような全方位映像をそのまま用いてもよい。その全方位映像に写っている人物や乗り物を認識し、ユーザ甲を巻き込む事故又は事件を引き起こした対象として特定する。
(4) In the schematic situation diagram generation process of FIG. 11, a case is illustrated in which a video (still image) of a predetermined time (for example, several seconds) before the time of impact is selected from the
図12では、ユーザ甲の全方位映像に乙が運転する1台の自転車が写っている場合を例示した。このように全方位映像に対象となる候補が1つしか写ってない場合には、対象の特定が容易である。ところが、実際の現場では全方位映像に複数の乗り物や人物が写っている場合もある。この場合には、ユーザ甲を巻き込む事故又は事件を引き起こした対象(乗り物や人物)を、その全方位映像に写っている乗り物や人物の中から特定する必要がある。 FIG. 12 exemplifies a case where one bicycle driven by User B is shown in the omnidirectional video of User A. In FIG. In this way, when only one target candidate appears in the omnidirectional video, it is easy to identify the target. However, in an actual scene, there are cases where a plurality of vehicles and people are captured in the omnidirectional video. In this case, it is necessary to identify the object (vehicle or person) that caused the accident or incident involving user A from among the vehicles or person appearing in the omnidirectional video.
ここで、本発明の変形例にかかる対象特定処理について図24乃至図28を参照しながら説明する。図24は、対象特定処理の具体例を示すフローチャートである。図25乃至図28は、図12乃至図15と同様に、ユーザ甲pA(Party pA)が青信号で横断歩道を渡りはじめたときに、乙pB(Party pB)の運転する自転車が横断歩道に侵入し、甲に衝突したという事故の場合を例示する。なお、図25乃至図28では、説明を分かり易くするため、乙の自転車だけを表示し、他の乗り物や人物などは省略している。 Here, the object identification processing according to the modification of the present invention will be described with reference to FIGS. 24 to 28. FIG. FIG. 24 is a flowchart illustrating a specific example of target identification processing. 25 to 28, similar to FIGS. 12 to 15, when user A pA (Party pA) starts crossing the crosswalk with a green light, a bicycle driven by Party pB (Party pB) enters the crosswalk. Then, the case of an accident in which the car collides with the instep is illustrated. In addition, in FIGS. 25 to 28, in order to make the explanation easier to understand, only B's bicycle is displayed, and other vehicles and people are omitted.
図25(a)、図26(a)は映像データ422aによる全方位映像である。図25(b)、図26(b)は全方位映像から生成された映像である。図25(a)、(b)は衝撃時又は緊急ボタン押下時の数秒前の映像であり、図26(a)、(b)は、図25(a)、(b)よりもさらに数秒前の映像である。図27は、対象候補図422dの具体例を示す図であり、図25及び図26の映像に基づく甲と乙の位置と動きを示すものである。図28は、対象候補検証図422eの具体例を示す図であり、図27に事故又は事件の位置mX(衝撃時又は緊急ボタン押下時の位置)を重ね合わせたものである。図27及び図28において甲のm1と乙のt1はそれぞれ、図25(a)の全方位映像に基づく甲と乙のGPSデータの緯度と経度である。甲のm2と乙のt2はそれぞれ、図26(a)の全方位映像に基づく甲と乙のGPSデータの緯度と経度である。 25(a) and 26(a) are omnidirectional images based on the image data 422a. 25(b) and 26(b) are images generated from the omnidirectional images. Figures 25(a) and (b) are images several seconds before the impact or pressing of the emergency button, and Figures 26(a) and (b) are several seconds before Figures 25(a) and (b). It is a video of FIG. 27 is a diagram showing a specific example of the target candidate diagram 422d, showing the positions and movements of A and B based on the images of FIGS. FIG. 28 is a diagram showing a specific example of the target candidate verification diagram 422e, in which the position mX of the accident or incident (position at the time of impact or pressing of the emergency button) is superimposed on FIG. In FIGS. 27 and 28, m1 of A and t1 of B are respectively the latitude and longitude of the GPS data of A and B based on the omnidirectional video of FIG. 25(a). m2 of A and t2 of B are respectively the latitude and longitude of the GPS data of A and B based on the omnidirectional video of FIG. 26(a).
図24の対象特定処理は、図11の状況略図生成処理を実行する前に、制御部12により所定のプログラムが読み出されて実行される。図24に示すように、先ず制御部12は、ステップS461にて略図生成用の映像を選出する。具体的には制御部12は、衝撃時の時刻の所定時間前(例えば数秒前)の全方位映像(例えば図25(a))を、衝撃時の映像データ422aから選出する。
The object specifying process in FIG. 24 is executed by reading out a predetermined program by the
次いでステップS462にて制御部12は、選出した全方位映像から乗り物や人物を検出し、事故又は事件を引き起こした対象候補となり得る人物や乗り物が複数あるか否かを判断する。具体的には制御部12は、全方位映像から人物や乗り物の画像を検出し、人物や乗り物の画像が複数検出されたかどうか判断する。制御部12は、ステップS462にて対象候補(人物や乗り物の画像)が1つしか検出されないと判断した場合は、対象特定処理を終了して図11の状況略図生成処理に移り、ステップS462にて対象候補(人物や乗り物の画像)が複数検出されたと判断した場合はステップS463に移る。
Next, in step S462, the
次にステップS463にて制御部12は、ステップS461で選出した図24の全方位映像よりもさらに所定時間前(例えば数秒前)の全方位映像(例えば図26(a))を映像データ422aより選出する。そしてステップS464にて制御部12は、選出した2つの全方位映像(図25(a)と図26(a))から対象候補となる人物や乗り物の位置(GPSデータの緯度と経度)を算出して、図27の対象候補図422dを生成し、その対象候補の位置と動きを検出する。
Next, in step S463, the
ここで、対象候補となる人物や乗り物の位置(GPSデータの緯度と経度)の算出方法の具体例について説明する。例えば図25(a)の全方位映像は、ユーザ甲の周囲の映像なので、その全方位映像の中心m1を甲の位置とすることができる。この場合、全方位映像の中心がユーザの位置に合うようにカメラ映像を調整するようにしてもよい。そして、甲から乙までの位置をベクトル(m1→t1)で示す。このベクトルの方向が甲に対する乙の方向であり、ベクトルの大きさ(長さ)が甲と乙と間の距離に対応する。全方位映像内における複数の対象物までのベクトル(方向と距離)と、実際の甲からのその対象物までのベクトル(方向と距離)とを関連付けて予め学習させた学習モデルを用いて実際の乙の方向と距離を算出する。乙について甲に対する方向と距離が特定できれば、甲のGPSデータの緯度と経度に基づいて、乙のGPSデータの緯度と経度を得ることができる。なお、乙のGPSデータの緯度と経度の算出方法は上記に限られず、全方位映像から公知の別の方法で算出するようにしてもよい。甲のGPSデータの緯度と経度は上述したように携帯端末装置20から受信したものを利用する。
Here, a specific example of a method of calculating the position (latitude and longitude of GPS data) of a person or vehicle that is a target candidate will be described. For example, the omnidirectional video in FIG. 25(a) is the video around user A, so the center m1 of the omnidirectional video can be the position of user A. In this case, the camera image may be adjusted so that the center of the omnidirectional image matches the position of the user. Then, the position from A to B is indicated by a vector (m1→t1). The direction of this vector is the direction of B with respect to A, and the magnitude (length) of the vector corresponds to the distance between A and B. Using a learning model that has been trained in advance by associating vectors (direction and distance) to multiple objects in the omnidirectional video with vectors (direction and distance) from the actual instep to the object, the actual Calculate the direction and distance of B. If the direction and distance to Party A can be specified for Party B, the latitude and longitude of Party B's GPS data can be obtained based on the latitude and longitude of Party A's GPS data. The method of calculating the latitude and longitude of the GPS data of B is not limited to the above, and may be calculated by another known method from the omnidirectional video. As for the latitude and longitude of the GPS data of Party A, those received from the portable
次にステップS465にて制御部12は、対象候補がユーザ甲に近づいているか否かを判断する。具体的には制御部は、図27に示すように2つの全方位映像から得られた対象候補の位置と動きに基づいて対象候補がユーザ甲に近づいているか否かを判断する。例えば近づいているか否かは、動きの方向がユーザ甲の進路に向かっているか否かで判断する。
Next, in step S465, the
例えば図27の対象候補図422dでは乙の自転車の動きの方向(t2→t1)がユーザ甲の進路(m2→m1)に向かっているので、近づいていると判断できる。これに対して、例えば乗り物や人物が写っていても静止していれば、位置が変わらないはずであるから対象候補ではないことがわかる。また動きの方向が甲の進路から遠ざかる方向であれば対象候補ではないことが分かる。このように、対象特定処理によれば、複数の人物や乗り物が写っていても、ユーザ甲を事故又は事件を引き起こした対象候補になるか否かを自動的に判断できる。 For example, in the target candidate diagram 422d of FIG. 27, the direction of movement of B's bicycle (t2→t1) is toward the course of user A (m2→m1), so it can be determined that User A is approaching. On the other hand, even if a vehicle or a person is captured, if it is stationary, the position should not change, so it is known that it is not a target candidate. Also, if the direction of movement is in the direction away from the course of the instep, it can be seen that it is not a target candidate. As described above, according to the object identification process, even if a plurality of persons or vehicles are photographed, it is possible to automatically determine whether or not user A is a candidate for the object that caused the accident or incident.
次にステップS466にて制御部12は、その対象候補が事故又は事件の対象になるかどうかの検証を行う。具体的には制御部12は、図27の対象候補図422dに衝撃時又は緊急ボタン押下時の位置mX(GPSデータの緯度と経度)を重ね合わせて、図28に示す対象候補検証図422eを生成する。そして制御部12はステップS467にて、事故又は事件の位置mX(衝撃時又は緊急ボタン押下時の位置)が対象の動き(t2→t1)の延長線上(点線矢印)にあるか否かを判断する。この場合、乙の位置のGPSデータの算出精度が検証精度に影響を及ぼすおそれがある。そこで、多少のずれがあっても延長線上と判断できるように、例えば乙の位置のGPSデータの算出精度に応じてある程度の許容範囲を設けておくようにしてもよい。
Next, in step S466, the
ステップS467にて制御部12は、事故又は事件の位置がその対象候補の動きの延長線上であると判断した場合は、ステップS468にてその対象候補を事件又は事故を引き起こした対象と特定する。以上のステップS465乃至ステップS468までは、対象候補ごとに行われる。制御部12は、ステップS465にて対象候補を任意で選んでその対象候補に対してステップS465乃至ステップS468を行う。ステップS465でその対象候補が近づいて来ない場合やステップS467にて事故又は事件の位置がその対象候補の動きの延長線上でない判断した場合は、ステップS464の処理に戻り、別の任意の対象候補を選んでステップS465乃至ステップS468を行う。
When the
ステップS468にて制御部12は、対象を特定した場合には、対象特定処理を終了し、図11の状況略図生成処理に移る。なお、対象特定処理は、状況略図生成部125が行うようにしてもよい。対象特定処理のステップS461と状況略図生成処理のステップS261の処理は重複するので、これら対象特定処理と状況略図生成処理を連続して行う場合、状況略図生成処理では図11のステップS261の処理を省略して、図24のステップS461で選定した例えば図25の映像をそのまま利用するようにしてもよい。そうすると、図11のステップS262の現場状況略図を生成する前に、対象特定処理が行われることになる。
In step S468, when the target is specified, the
このような変形例にかかる対象特定処理によれば、全方位映像に複数の乗り物や人物が写っている場合でも、ユーザ甲を巻き込む事故又は事件を引き起こした対象として自動的に特定することができる。また、事故又は事件の発生時(衝撃時又は緊急ボタン押下時)より少し前の全方位映像(映像データ)とそれよりもさらに前の全方位映像(映像データ)とを比較することで、対象候補である人物や乗り物の位置と動きを検出できる。これにより、その対象候補の位置と動きに基づいて対象を特定することができるので、単に映像に写っている対象の大きさの違いなどから対象を特定する場合に比較してより正確に対象を特定できる。 According to the object identification processing according to such a modified example, even when a plurality of vehicles or persons are shown in the omnidirectional video, it is possible to automatically identify the object as the object that caused the accident or incident involving user A. . In addition, by comparing the omnidirectional video (video data) slightly before the occurrence of the accident or incident (at the time of impact or pressing the emergency button) with the omnidirectional video (video data) even before that, the target It can detect the position and motion of candidate people and vehicles. As a result, the target can be specified based on the position and movement of the target candidate, so the target can be specified more accurately than when the target is specified simply from the difference in size of the target in the image. can be identified.
(5)上記第1実施形態及び第2実施形態並びに変形例において、上記状況略図生成処理や上記対象特定処理で選定される全方位映像は、ウエアラブル装置30からのカメラ映像から取得する場合を例示したが、必ずしもこれに限られず、監視カメラの映像から取得するようにしてもよい。例えば事故や事件の状況によってはウエアラブル装置30が破損する場合も考えられるので、そのような場合は、破損前後の映像を周囲の監視カメラの映像から補完するようにしてもよい。監視カメラの映像はユーザ甲の全方位映像になるように合成することで、上記実施形態や変形例の状況略図生成処理や対象特定処理をそのまま適用できる。
(5) In the above-described first and second embodiments and modifications, the omnidirectional video selected in the schematic situation diagram generation process and the target identification process is obtained from the camera video from the
(6)上記第1実施形態及び第2実施形態並びに変形例において、日本国の状況報告書を例に挙げて説明したが、これに限られるものではない。例えば外国の状況報告書のフォーム(ひな形)を取り込むことで外国の状況報告書にも適用可能である。その場合、日本語がベースの部分はその国の言語に自動翻訳してその国のフォームに合わせることもできる。また、状況略図における人物や乗り物の記号についてもその国の指定の記号があればそれを取り込むことで、容易に置き換え可能である。しかも、地図情報についても当然に世界の地図情報を取り込むことで、人物や乗り物の画像を所定の記号に置き換えて地図上の位置で示す各国のフォームに対応した現場状況略図を生成することができる。 (6) In the first embodiment, the second embodiment, and the modified example, the situation report in Japan was used as an example, but the present invention is not limited to this. For example, it can be applied to a foreign situation report by incorporating a foreign situation report form (template). In that case, the Japanese-based part can be automatically translated into the language of the country to match the form of the country. In addition, symbols of people and vehicles in schematic diagrams can be easily replaced by incorporating symbols designated by the country, if any. Moreover, as for the map information, by taking in the map information of the world as a matter of course, it is possible to replace the images of people and vehicles with predetermined symbols and generate a rough map of the site situation corresponding to the form of each country indicated by the position on the map. .
100…ウエアラブル情報処理システム、10…ウエアラブル情報処理装置、10L…バスライン、11…通信部、12…制御部、14…記憶部、15…プログラム記憶部、16…データ記憶部、17…事故判例データベース、18…事件判例データベース、20…携帯端末装置、20L…バスライン、21…通信部、22…制御部、23…記憶部、24…カメラ、25…マイク、26…センサ部、27…入力部、28…表示部、30…ウエアラブル装置、31…通信部、34…カメラ、34a…カメラ映像、40…映像処理装置、40L…バスライン、41…通信部、42…制御部、43…記憶部、50…地図処理装置、50L…バスライン、51…通信部、52…制御部、53…記憶部、121…映像データ取得部、122…状況データ取得部、122a…状況データ、123…地図データ取得部、125…状況略図生成部、125a…状況略図、126…状況報告生成部、126a…状況報告データ、126A…事故発生状況報告書、126B…事故発生状況報告書、127…過失割合報告生成部、127A…事故過失割合報告書、127B…事件過失割合報告書、127C…事件構成要件報告書、161…ユーザデータ、162…取得データ、163…生成データ、221…センサデータ取得部、222…衝撃検知部、223…衝撃データ収集部、223a…衝撃データ、224…状況データ収集部、224a…時刻データ、224b…地図データ、231…プログラム記憶部、232…データ記憶部、421…時刻データ取得部、422…映像データ選択部、422a…衝撃時の映像データ、422b…略図生成用映像、422c…現場状況略図、422d…対象候補図、422e…対象候補検証図、432…映像データ、521…GPSデータ取得部、522…地図データ選択部、522a…衝撃時の地図データ、522b…現場付近地図、532…地図データ、N…ネットワーク、P…プッシュ通知。
DESCRIPTION OF
Claims (10)
前記ウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置から前記状況データを取得する状況データ取得部と、
前記映像処理装置から前記時刻データに基づく前記映像データを取得する映像データ取得部と、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得する地図データ取得部と、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成する状況略図生成部と、
前記状況略図を含む状況報告を生成する状況報告生成部と、を備え、
前記携帯端末装置は、衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況データ取得部は、前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを前記携帯端末装置から取得し、
前記状況略図生成部は、前記状況データにより事故か事件かを判断し、判断した事故又は事件についての前記状況報告を生成する
ウエアラブル情報処理装置。 A wearable information processing device that processes information including camera images from a wearable device worn by a person,
A video processing device that stores camera video of the wearable device as video data, a map processing device that stores map data, and a mobile terminal device that can collect situation data including time data and GPS data when an accident or incident occurs. and connected over the network to
a situation data acquisition unit that acquires the situation data from the mobile terminal device;
a video data acquisition unit that acquires the video data based on the time data from the video processing device;
a map data acquisition unit that acquires the map data based on the GPS data from the map processing device;
a schematic situation map generation unit that generates a schematic situation map based on at least the video data and the map data;
a situation report generating unit that generates a situation report including the situation diagram,
The mobile terminal device includes an impact sensor that detects an impact, and when the impact sensor detects an impact, an accident event selection screen is displayed for selecting either an accident, an incident, or neither. displayed on the display,
The situation data acquisition unit acquires the situation data including information indicating that the occurrence of the accident or the occurrence of the incident is selected from the mobile terminal device,
The wearable information processing device, wherein the schematic situation diagram generation unit judges whether it is an accident or an incident based on the situation data, and generates the situation report about the determined accident or incident.
請求項1に記載のウエアラブル情報処理装置。 2. The wearable information processing device according to claim 1, wherein said camera image is an image of the surroundings of a person wearing said wearable device.
前記映像データ取得部で取得された映像データから、前記事故又は事件を引き起こした対象の画像を検出し、前記対象の画像を所定の記号に置き換えて地図上の位置で示す現場状況略図を生成し、
前記地図データ取得部で取得された地図データから前記GPSデータの位置を含む現場付近地図を生成し、
前記現場状況略図と前記現場付近地図から状況略図を生成する
請求項1又は請求項2に記載のウエアラブル情報処理装置。 The situation diagram generation unit
An image of the object that caused the accident or incident is detected from the image data acquired by the image data acquisition unit, and a schematic map of the site situation is generated by replacing the image of the object with a predetermined symbol and showing the position on the map. ,
generating a site vicinity map including the position of the GPS data from the map data acquired by the map data acquisition unit;
3. The wearable information processing device according to claim 1, wherein a schematic situation map is generated from the schematic site situation map and the map near the site.
前記映像処理装置は、前記携帯端末装置を介して前記ウエアラブル装置からのカメラ映像を受信して所定の映像時間ごとの複数の映像データとして記憶し、
前記映像データ取得部は、前記複数の映像データのうち少なくとも前記時刻データの時刻の映像を含む映像データを取得する
請求項3に記載のウエアラブル情報処理装置。 The wearable device is connected to the mobile terminal device,
The video processing device receives a camera video from the wearable device via the mobile terminal device and stores it as a plurality of video data for each predetermined video time,
The video data acquisition unit acquires video data including video at least at the time of the time data from among the plurality of video data.
The wearable information processing device according to claim 3 .
前記現場状況略図を生成する前に、前記映像データ取得部で取得された映像データから前記対象の候補となる人物又は乗り物の画像が複数検出されたか否かを判断し、
前記対象の候補となる人物又は乗り物の画像が1つしか検出されないと判断した場合には、その1つの画像を前記事故又は事件を引き起こした対象として特定して、前記現場状況略図及び前記現場付近地図及び状況略図を生成し、
前記対象の候補となる人物又は乗り物の画像が複数検出されたと判断した場合には、前記映像データとそれよりも前の映像データとを比較することで前記対象の候補となる人物又は乗り物のそれぞれの位置と動きを検出して対象候補図を生成し、
前記対象候補図の前記位置と動きに基づいて、前記複数の画像の中から前記事故又は事件を引き起こした対象を特定して、前記現場状況略図及び前記現場付近地図及び状況略図を生成する
請求項4に記載のウエアラブル情報処理装置。 The situation diagram generation unit
determining whether or not a plurality of images of a person or a vehicle that is a candidate for the target is detected from the image data acquired by the image data acquisition unit before generating the schematic diagram of the site situation;
If it is determined that only one image of a person or vehicle that is a candidate for the object is detected, that one image is specified as the object that caused the accident or incident, and the schematic diagram of the scene and the vicinity of the scene are identified. Generate maps and situation diagrams,
When it is determined that a plurality of images of a person or vehicle that is a candidate for the object has been detected, each person or vehicle that is a candidate for the object is identified by comparing the image data with previous image data. Detect the position and movement of and generate a target candidate map,
Based on the position and movement of the target candidate map, the target that caused the accident or incident is identified from the plurality of images to generate the site situation schematic map, the site vicinity map and the situation schematic map.
The wearable information processing device according to claim 4 .
前記携帯端末装置からの前記状況データにより事故か事件かを判断し、
前記事故であると判断した場合は、所定の事故発生状況報告書のフォームから前記状況報告を生成し、
前記事件であると判断した場合は、所定の事件発生状況報告書のフォームから前記状況報告を生成する
請求項5に記載のウエアラブル情報処理装置。 The status report generation unit
judging whether it is an accident or an incident based on the situation data from the portable terminal device;
If it is determined that there is an accident, the situation report is generated from a predetermined accident occurrence situation report form,
If it is determined that it is the above-mentioned incident, the above-mentioned situation report is generated from the prescribed incident occurrence situation report form.
The wearable information processing device according to claim 5 .
前記状況略図生成部で生成された状況略図と前記判例データベースの判例に含まれる状況略図と照合して前記状況略図が類似する判例を選出し、選出した判例から過失割合を抽出し、選出した判例の前記状況略図と前記過失割合を含む過失割合報告を生成する過失割合報告生成部と、を備える
請求項6に記載のウエアラブル情報処理装置。 a judicial precedent database that stores judicial precedent data including the schematic situation diagram;
The situation diagram generated by the situation diagram generation unit is collated with the situation diagram included in the cases in the case database to select judicial precedents similar to the situation diagram, extract the percentage of negligence from the selected judicial precedents, and select the judicial precedents. and a percentage-of-fault report generator that generates a percentage-of-fault report including the schematic diagram of the situation and the percentage-of-fault report of
The wearable information processing device according to claim 6 .
前記過失割合報告生成部は、
前記携帯端末装置からの前記状況データにより事故か事件かを判断し、
前記事故であると判断した場合は、前記事故判例データベースから前記状況略図が類似する判例を選出し、
前記事件であると判断した場合は、前記事件判例データベースから前記状況略図が類似する判例を選出する
請求項7に記載のウエアラブル情報処理装置。 The precedent database is divided into an accident precedent database and a case precedent database,
The percent-of-failure report generator,
judging whether it is an accident or an incident based on the situation data from the portable terminal device;
If it is determined that it is an accident, select a precedent similar to the schematic situation diagram from the accident precedent database,
8. The wearable information processing device according to claim 7, wherein when it is determined that the case is the case, a case precedent similar to the schematic situation diagram is selected from the case precedent database.
前記ウエアラブル情報処理装置は、
人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置は、
衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況報告生成処理は、
前記携帯端末装置から前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを取得するステップと、
前記映像処理装置から前記時刻データに基づく前記映像データを取得するステップと、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得するステップと、
前記状況データにより事故か事件かを判断するステップと、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成するステップと、
判断した事故又は事件についての前記状況略図を含む状況報告を生成するステップと、を含む
プログラム。 A program that causes a computer to execute a situation report generation process of an accident or incident performed by a wearable information processing device,
The wearable information processing device,
A video processing device that stores video data captured by a wearable device worn by a person, a map processing device that stores map data, and can collect situation data including time data and GPS data when an accident or incident occurs. connected via a network to a mobile terminal device such as
The mobile terminal device
an impact sensor for detecting an impact is provided, and when an impact is detected by the impact sensor, an accident event selection screen is displayed on the display unit for selecting either the occurrence of an accident, the occurrence of an incident, or neither;
The status report generation process includes:
a step of obtaining the situation data including the information that the occurrence of the accident or the occurrence of the incident is selected from the mobile terminal device;
obtaining the video data based on the time data from the video processing device;
obtaining the map data based on the GPS data from the map processing device;
a step of determining whether it is an accident or an incident based on the situation data;
generating a situation map based at least on said video data and said map data;
generating a situation report containing said situation diagram for the determined accident or incident.
前記ウエアラブル情報処理装置は、
人に装着されるウエアラブル装置のカメラ映像を映像データとして記憶する映像処理装置と、地図データを記憶する地図処理装置と、事故又は事件の発生時の時刻データ及びGPSデータを含む状況データを収集可能な携帯端末装置と、にネットワークを介して接続され、
前記携帯端末装置は、
衝撃を検知する衝撃センサを備え、前記衝撃センサにより衝撃が検知されると、事故の発生又は事件の発生又はどちらでもないのいずれかを選択するための事故事件選択画面を表示部に表示し、
前記状況報告生成処理は、
前記携帯端末装置から前記事故の発生又は前記事件の発生が選択された情報を含む前記状況データを取得するステップと、
前記映像処理装置から前記時刻データに基づく前記映像データを取得するステップと、
前記地図処理装置から前記GPSデータに基づく前記地図データを取得するステップと、
前記状況データにより事故か事件かを判断するステップと、
少なくとも前記映像データと前記地図データに基づいて状況略図を生成するステップと、
判断した事故又は事件についての前記状況略図を含む状況報告を生成するステップと、を含む
記憶媒体。 A computer-readable storage medium for storing a program for causing a computer to execute a process for generating a situation report of an accident or incident performed by a wearable information processing device,
The wearable information processing device,
A video processing device that stores video data captured by a wearable device worn by a person, a map processing device that stores map data, and can collect situation data including time data and GPS data when an accident or incident occurs. connected via a network to a mobile terminal device such as
The mobile terminal device
an impact sensor for detecting an impact is provided, and when an impact is detected by the impact sensor, an accident event selection screen is displayed on the display unit for selecting either the occurrence of an accident, the occurrence of an incident, or neither;
The status report generation process includes:
a step of obtaining the situation data including the information that the occurrence of the accident or the occurrence of the incident is selected from the mobile terminal device;
obtaining the video data based on the time data from the video processing device;
obtaining the map data based on the GPS data from the map processing device;
a step of determining whether it is an accident or an incident based on the situation data;
generating a situation map based at least on said video data and said map data;
generating a situation report containing said situation diagram for the determined accident or incident.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021123757 | 2021-07-28 | ||
JP2021123757 | 2021-07-28 | ||
PCT/JP2022/029209 WO2023008540A1 (en) | 2021-07-28 | 2022-07-28 | Wearable information processing device and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2023008540A1 JPWO2023008540A1 (en) | 2023-02-02 |
JP7239126B1 true JP7239126B1 (en) | 2023-03-14 |
JPWO2023008540A5 JPWO2023008540A5 (en) | 2023-07-06 |
Family
ID=85086880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022576445A Active JP7239126B1 (en) | 2021-07-28 | 2022-07-28 | Wearable information processing device, program and storage medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7239126B1 (en) |
WO (1) | WO2023008540A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117079474A (en) * | 2023-09-04 | 2023-11-17 | 南通途腾信息科技有限公司 | Movable road vehicle information acquisition device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002290626A (en) * | 2001-03-26 | 2002-10-04 | Toshiba Medical System Co Ltd | First aid support system |
JP2010081480A (en) * | 2008-09-29 | 2010-04-08 | Fujifilm Corp | Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program |
JP2011013911A (en) * | 2009-07-01 | 2011-01-20 | System Origin Co Ltd | Roll call management system |
US20130254133A1 (en) * | 2012-03-21 | 2013-09-26 | RiskJockey, Inc. | Proactive evidence dissemination |
JP2018061215A (en) * | 2016-10-07 | 2018-04-12 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method |
JP2020004307A (en) * | 2018-07-02 | 2020-01-09 | Mogコンサルタント株式会社 | Wild animal spotting information collection system |
-
2022
- 2022-07-28 JP JP2022576445A patent/JP7239126B1/en active Active
- 2022-07-28 WO PCT/JP2022/029209 patent/WO2023008540A1/en unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002290626A (en) * | 2001-03-26 | 2002-10-04 | Toshiba Medical System Co Ltd | First aid support system |
JP2010081480A (en) * | 2008-09-29 | 2010-04-08 | Fujifilm Corp | Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program |
JP2011013911A (en) * | 2009-07-01 | 2011-01-20 | System Origin Co Ltd | Roll call management system |
US20130254133A1 (en) * | 2012-03-21 | 2013-09-26 | RiskJockey, Inc. | Proactive evidence dissemination |
JP2018061215A (en) * | 2016-10-07 | 2018-04-12 | パナソニックIpマネジメント株式会社 | Monitoring system and monitoring method |
JP2020004307A (en) * | 2018-07-02 | 2020-01-09 | Mogコンサルタント株式会社 | Wild animal spotting information collection system |
Also Published As
Publication number | Publication date |
---|---|
JPWO2023008540A1 (en) | 2023-02-02 |
WO2023008540A1 (en) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6980888B2 (en) | Image transmitter | |
CN105849790B (en) | Road condition information acquisition method | |
US11393215B2 (en) | Rescue system and rescue method, and server used for rescue system and rescue method | |
KR102552285B1 (en) | Portable electronic device and method thereof | |
CN110770084B (en) | Vehicle monitoring system and vehicle monitoring method | |
US20200126418A1 (en) | Method and system for vehicle location | |
JP7239126B1 (en) | Wearable information processing device, program and storage medium | |
US11679763B2 (en) | Vehicle accident surrounding information link apparatus | |
JP2022103234A (en) | Information processing device, information processing method, and program | |
JP7052305B2 (en) | Relief systems and methods, as well as the servers and programs used for them. | |
CN111784923A (en) | Shared bicycle parking management method, system and server | |
JP2020085794A (en) | Information providing system, server, onboard device and information providing method | |
CN114170272A (en) | Accident reporting and storing method based on sensing sensor in cloud environment | |
US20190065497A1 (en) | Image retrieval assist device and image retrieval assist method | |
KR101613501B1 (en) | Integrated car number recognizer with movable or fixed type and detecting system using the same | |
KR20110076693A (en) | System, terminal and method for providing vehicle security function | |
CN116071949A (en) | Augmented reality method and device for driving assistance | |
JPWO2023008540A5 (en) | Wearable information processing device, program and storage medium | |
JP7409638B2 (en) | Investigation support system and investigation support method | |
CN114387554A (en) | Vehicle personnel overload identification method, device, equipment and readable medium | |
CN113808397A (en) | Data processing method and device for non-motor vehicle accidents and cloud server | |
CN111862576A (en) | Method for tracking suspected target, corresponding vehicle, server, system and medium | |
CN114425991A (en) | Image processing method, medium, device and image processing system | |
KR102502170B1 (en) | Traffic safety system based on IoT | |
JP7428076B2 (en) | Operation method of server device, control device, vehicle, and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7239126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |