JP7532963B2 - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP7532963B2 JP7532963B2 JP2020117846A JP2020117846A JP7532963B2 JP 7532963 B2 JP7532963 B2 JP 7532963B2 JP 2020117846 A JP2020117846 A JP 2020117846A JP 2020117846 A JP2020117846 A JP 2020117846A JP 7532963 B2 JP7532963 B2 JP 7532963B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- situation
- data
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 161
- 238000003672 processing method Methods 0.000 title description 5
- 238000011156 evaluation Methods 0.000 claims description 233
- 230000005856 abnormality Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 description 115
- 238000000034 method Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 8
- 206010041349 Somnolence Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013210 evaluation model Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 101150013335 img1 gene Proteins 0.000 description 1
- 101150071665 img2 gene Proteins 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing device and an image processing method.
車両の車室内の音声を含む画像(静止画および動画を含む)を車載カメラおよび車載マイクにより取得し、旅の記録として保存することが行われている。このような記録として保存された画像を見返す場合、画像に予め字幕等の演出を付与しておくことは有効である。
たとえば特許文献1の記載には、画像に含まれる音声から単語を抽出し、単語の使用頻度に応じて字幕の表示態様を決定する表示態様決定装置が開示されている。
また、車両の車室内の画像に限らず、各種移動体の室内の画像またはその他の空間を撮影した画像を出来事の記録として保存する場合についても同様である。
Images (including still images and videos) including audio from within a vehicle cabin are captured by an on-board camera and an on-board microphone and are stored as a record of a journey. When reviewing such images stored as a record, it is effective to add effects such as subtitles to the images in advance.
For example,
The same applies not only to images of the interior of a vehicle, but also to images of the interior of various mobile objects or images of other spaces that are stored as records of events.
しかし上述した画像は、冗長な部分が多く、撮影後に出来事の記録として見返すのに適していないという問題があった。特に再生時間が長い場合は、この問題が顕著に生じる。 However, the images mentioned above have a problem in that they contain a lot of redundant parts and are not suitable for reviewing as a record of events after shooting. This problem is particularly noticeable when the playback time is long.
本発明は、上述した課題を解決するためになされたものであって、撮影後に、撮影中の重要な場面を分かりやすいダイジェスト画像で振り返ることができる画像処理装置および画像処理方法を提供するものである。 The present invention has been made to solve the above-mentioned problems, and provides an image processing device and an image processing method that allow users to look back on important scenes captured during shooting in an easy-to-understand digest image after shooting.
本発明の一態様にかかる画像処理装置は、対象空間の音声データおよび画像データを取得する取得部と、前記音声データをテキストデータに変換する音声認識部と、前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する状況評価部と、前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成する画像処理部とを備える。 An image processing device according to one aspect of the present invention includes an acquisition unit that acquires voice data and image data of a target space, a voice recognition unit that converts the voice data into text data, a situation evaluation unit that evaluates the situation of the target space based on the image data and calculates a situation evaluation value of the situation in the target space, and an image processing unit that, when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generates superimposed image data in which at least one of an image based on the text data and an image related to the situation is superimposed on an image of the image data for a predetermined period including the period during which the event occurs.
本発明の一態様にかかる画像処理方法は、対象空間の音声データおよび画像データを取得する段階と、前記音声データをテキストデータに変換する段階と、前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する段階と、前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成する段階とを備える。 An image processing method according to one aspect of the present invention includes the steps of acquiring voice data and image data of a target space, converting the voice data into text data, evaluating a situation in the target space based on the image data and calculating a situation evaluation value of the situation in the target space, and, when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generating superimposed image data in which at least one of an image based on the text data and an image related to the situation is superimposed on an image of the image data for a predetermined period including the period during which the event occurs.
本発明によれば、撮影後に、撮影中の重要な場面を分かりやすいダイジェスト画像で振り返ることができる画像処理装置および画像処理方法を提供することができる。 The present invention provides an image processing device and an image processing method that allow users to review important scenes captured during shooting in an easy-to-understand digest image after shooting.
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。 The present invention will be described below through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. Furthermore, not all of the configurations described in the embodiments are necessarily essential as means for solving the problems. For clarity of explanation, the following description and drawings have been omitted and simplified as appropriate. In addition, the same elements are given the same reference numerals in each drawing, and duplicate explanations have been omitted as necessary.
<実施形態1>
まず図1~9を用いて、本発明の実施形態1について説明する。図1は、実施形態1にかかる画像処理システム1の構成の一例を示すブロック図である。画像処理システム1は、人物を含む対象空間を撮影した画像に対して、字幕付与等の画像処理を行い、ダイジェスト画像を生成するコンピュータシステムである。本実施形態1では、対象空間は、乗員がいる車両の室内空間(以下、車室内と呼ぶことがある)を示す。しかしこれに限らず、対象空間は、乗員がいる船若しくは飛行機等のその他の移動体の室内、または人物がいる建物の屋内若しくは屋外の空間であってもよい。
<
First, a first embodiment of the present invention will be described with reference to FIGS. 1 to 9. FIG. 1 is a block diagram showing an example of the configuration of an
画像処理システム1は、画像処理装置10と、カメラ30と、マイク40とを備える。本実施形態1では、画像処理装置10、カメラ30およびマイク40は、ドライブレコーダ、ドライバモニタまたはインキャビンモニタ等の車載機器を含む車載機器システムを構成する。
The
カメラ30は、車両の任意の位置に搭載され、車室内の風景を撮影して、撮影した画像の画像データを生成するカメラである。一例としてカメラ30は、車両の座席に座る乗員を撮影する。カメラ30は、画像処理装置10に通信可能に接続される。カメラ30は、例えば毎秒30フレーム(30fps)の画像データを生成し、生成した画像データを30分の1秒ごとに画像処理装置10に供給する。カメラ30は、車室内の風景の他に車両外部の風景を撮影し、画像処理装置10に供給してもよい。
The
マイク40は、車両の任意の位置に搭載され、車室内の音声を取得して、音声データを生成するマイクである。一例としてマイク40は、車両の座席に座る乗員の声を取得する。マイク40も、画像処理装置10に通信可能に接続される。マイク40は、生成した音声データをカメラ30と同様に画像処理装置10に供給する。マイク40は、車室内の音声に限定されず、車両外部の音声を取得し、画像処理装置10に供給してもよい。
The
画像処理装置10は、車載機器に関連して設置されるコンピュータまたはハードウェアである。画像処理装置10は、車載機器に内蔵されていてもよく、外付けで配設されていてもよい。また画像処理装置10は、車両から離れた場所に設置され、無線通信手段によりカメラ30およびマイク40と通信してもよい。画像処理装置10は、カメラ30およびマイク40からそれぞれ取得した画像および音声データに対して、字幕付与等の画像処理を行い、ダイジェスト画像を生成する。画像処理装置10は、カメラ30およびマイク40を含んで構成されてもよい。
The
画像処理装置10は、取得部11と、状況評価部12と、音声認識部15と、画像処理部16と、画像記録部17と、テーブル記憶部18とを有する。
The
取得部11は、撮影対象となる車室内の音声データおよび画像データを、マイク40およびカメラ30からそれぞれ取得する。取得部11は、マイク40およびカメラ30と有線で接続される入力端子や入力回路などのインタフェースであってもよく、マイク40およびカメラ30と無線で接続される通信受信部であってもよい。取得部11は、取得した音声データおよび画像データを、状況評価部12および音声認識部15に供給する。
The
状況評価部12は、車室内の状況を評価する。ここで、車室内の状況とは、その空間にいる1または複数の人物(乗員)の表情または発話態様が類型化された状態を示す。たとえば状況は、笑顔の乗員がいる状態、眠っている乗員がいる状態、または大声で怒る乗員と笑顔の乗員とが混在する状態等が挙げられる。
The
このとき状況評価部12は、評価対象状況の状況評価値を算出する。評価対象状況とは、評価の対象となる状況を指し、例えば後述する状況テーブル19に示す状況のうち評価対象として指定された状況を指す。評価対象状況は、状況テーブル19に示す状況のすべてであってもよく、一部であってもよい。
At this time, the
状況評価値は、評価対象状況ごとに算出され、車室内の状況が評価対象状況とどの程度関連しているかのレベルを示す。 The situation evaluation value is calculated for each situation being evaluated and indicates the level to which the situation inside the vehicle is related to the situation being evaluated.
ここで状況評価部12は、画像評価部13を含む。
画像評価部13は、取得部11が取得した画像データに基づいて、評価対象状況に関連する各表情の表情評価統計値を算出する。より詳しくは、画像評価部13は、画像データに画像認識処理を施して画像データに含まれる人物を認識し、また、認識した人物の表情を認識して、「笑い」、「悲しみ」、「怒り」および「眠気」などの表情の種別として評価する。画像認識処理は、機械学習などの公知の技術が用いられる。
Here, the
The
表情評価統計値は、状況評価値に含まれる状況評価指標の1つである。表情評価統計値は、画像データに写る全ての乗員を母集団とした表情評価値の統計値である。
ここで表情評価値は、表情の種別に応じて定められ、定められた表情に個々の乗員の表情がどの程度関連しているかを示す指標である。表情評価値は、画像データに写る乗員ごとに算出される。たとえば表情評価値は、顔の各部の大きさ、位置、形状または顔若しくは首の角度に関して、画像データから取得した実績値と予め定められた参照値との間の差分に基づいて算出されてよい。また表情評価値は、被写体として様々な表情の人物が写る画像を教師データとして学習した表情評価モデルにより算出されてもよい。 表情評価統計値は、画像データに写る全ての乗員の表情評価値に基づいて、算出される。表情評価統計値は、閾値以上の表情評価値を有する乗員の数であってもよく、全ての乗員のうち、閾値以上の表情評価値を有する乗員の割合であってもよい。また表情評価統計値は、閾値以上の表情評価値を有する乗員の数や割合が予め定められる閾値を超えているか否かの判定結果であってもよい。また表情評価統計値は、表情評価値の合計値または平均値であってもよい。たとえば「笑い」の表情評価統計値は、「笑い」の表情評価値が高い乗員の数が多いほど、高い値を有してよい。このように表情評価統計値を状況評価値として用いることで、車室内の全体の状況をより正確に評価することが可能となる。
The facial expression evaluation statistic is one of the situation evaluation indexes included in the situation evaluation value. The facial expression evaluation statistic is a statistical value of facial expression evaluation values for a population of all occupants captured in image data.
Here, the facial expression evaluation value is determined according to the type of facial expression, and is an index showing the degree to which the facial expression of each occupant is related to the determined facial expression. The facial expression evaluation value is calculated for each occupant appearing in the image data. For example, the facial expression evaluation value may be calculated based on the difference between the actual value obtained from the image data and a predetermined reference value for the size, position, shape, or angle of each part of the face or the face or neck. The facial expression evaluation value may also be calculated by a facial expression evaluation model that has learned images of people with various facial expressions as subjects using as teacher data. The facial expression evaluation statistics are calculated based on the facial expression evaluation values of all occupants appearing in the image data. The facial expression evaluation statistics may be the number of occupants having a facial expression evaluation value equal to or greater than a threshold value, or may be the proportion of occupants having a facial expression evaluation value equal to or greater than a threshold value among all occupants. The facial expression evaluation statistics may also be a determination result of whether or not the number or proportion of occupants having a facial expression evaluation value equal to or greater than a threshold value exceeds a predetermined threshold value. The facial expression evaluation statistics may be the sum or average value of the facial expression evaluation values. For example, the facial expression evaluation statistics of "laughing" may have a higher value as the number of occupants having a high facial expression evaluation value of "laughing" increases. By using the facial expression evaluation statistics as the situation evaluation value in this manner, it is possible to more accurately evaluate the overall situation inside the vehicle cabin.
本実施形態1では、状況評価値として表情評価統計値を用いる。つまり本実施形態1では、画像評価部13は、画像データに基づいて撮像された人物の表情を評価し、車室内における評価対象状況に関連する表情の表情評価統計値を算出し、その表情評価統計値を状況評価値とする。
In this
そして状況評価部12は、状況テーブル19を用いて状況評価値が予め定められた条件を満たすか否かを判定し、満たす場合、評価対象状況のイベントが発生したと認定する。本実施形態1では、状況評価部12は、評価対象状況に関連する表情評価統計値の各々について、その表情評価値がその表情評価値に対応して予め定められた閾値以上であるか否かを判定し、これらの判定結果に基づいてイベントが発生したか否かを判定する。状況評価部12は、イベントが発生したと認定した場合、音声認識部15および画像処理部16に通知する。
The
音声認識部15は、音声データを、文字列を含むテキストデータに変換する。音声認識部15は、公知の音声データテキスト化技術を用いてよい。
The
画像処理部16は、イベント発生期間の画像データの画像に対して、画像処理態様テーブル20を用いて、評価対象状況に応じた画像処理を行う。イベント発生期間とは、現にイベントが発生している期間と、イベント発生前後の予め定められた期間とを含む期間を示す。なおイベント発生期間は、イベント発生前後の期間に代えてイベント発生前またはイベント発生後のいずれかの期間を含むとしてもよいし、これらの期間を含まなくてもよい。画像処理部16は、イベント発生期間の画像データの画像に対して、テキストデータに基づく画像および評価対象状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成する。テキストデータに基づく画像は、一例としてテキストデータをそのまま文字列として所定のフォントにて可視化した字幕画像である。テキストデータに基づく画像は、例えばテキストデータが日本語である場合、漢字や片仮名に変換した後に字幕画像に変換してもよい。またテキストデータに基づく画像は、テキストデータの一部を省略したり予め定められたテキストデータを追加したりする形態ととってもよい。またテキストデータに基づく画像は、図示しないデータベースによってテキストデータと予め関連付けられたマーク画像であってもよい。評価対象状況に関連する画像は、後述する画像処理態様テーブル20によって状況IDと関連づけられたマーク画像である。例えば評価対象状況に関連する画像は、評価対象状況が「悲しみ」を含む状況IDであった場合、涙の形のマーク画像であってよい。
The
そして画像処理部16は、生成した重畳画像データを画像記録部17に記録する。画像記録部17は、画像処理部16が生成した重畳画像データを記憶する記憶媒体である。
The
このとき画像処理部16は、上書き禁止の記録形態で当該データを画像記録部17に記録することが好ましい。たとえば画像処理装置10がドライブレコーダに搭載されている場合、画像処理部16は、通常のドライブレコーダが有する常時記録(上書き)、異常時記録(衝撃検知時等に上書き禁止で記録)、手動記録などの記録モードとは別の記録モードで画像記録部17に記録してよい。画像記録部17は、上記通常の記録モードの記録領域とは異なる記録領域であることが好ましい。画像処理部16は、異常時記録の記録モードで記録する画像には、上述した画像の重畳処理を行わないことが好ましい。これにより上記通常の記録モードで記録されたデータとは区別して、運転後に記録ファイルを容易に閲覧することができる。さらに閲覧を容易にするために、記録モードに応じたフォルダ名およびファイル名を付与して記録ファイルを識別することが好ましいが、これに限定されない。なおドライブレコーダは、上述した記録モードの全てまたは一部を搭載していなくてもよい。
At this time, the
テーブル記憶部18は、状況テーブル19および画像処理態様テーブル20を記憶する記憶媒体である。
The
図2は、実施形態1にかかる状況テーブル19のデータ構造の一例を示す図である。
状況テーブル19は、状況識別情報(状況ID)と、その状況の内容と、状況評価値の種別およびイベント閾値とを関連付ける。
FIG. 2 is a diagram illustrating an example of a data structure of the status table 19 according to the first embodiment.
The situation table 19 associates situation identification information (situation ID), the content of the situation, the type of situation evaluation value, and an event threshold value.
本実施形態1で状況の内容は、状況に関連する表情またはそれらの組み合わせを指す。たとえば、状況ID1~3の状況の内容は、笑顔の乗員がいることを示す。また状況ID4~5の状況の内容は、悲しんでいる乗員がいて、かつ笑顔の乗員がいることを示す。状況ID6の状況の内容は、怒っている乗員がいて、かつ笑顔の乗員がいることを示す。状況ID7の状況の内容は、眠っている乗員がいることを、状況ID8の状況の内容は、眠っている乗員がいて、かつ笑顔の乗員がいることを示す。
In this
状況評価値の種別は、状況の内容に含まれる各項目に対応する状況評価値の種別を示す。たとえば状況ID1~3の状況は、「笑い」の表情評価統計値である第1表情評価統計値を状況評価値としている。また状況ID4~5の状況は、「悲しみ」の表情評価統計値である第2表情評価統計値と、第1表情評価統計値とを状況評価値としている。また状況ID6の状況は、「怒り」の表情評価統計値である第3表情評価統計値と、第1表情評価統計値とを状況評価値としている。また状況ID7の状況は、「眠気」の表情評価統計値である第4表情評価統計値を、状況ID8の状況は、第4表情評価統計値と第1表情評価統計値とを状況評価値としている。
The type of situation evaluation value indicates the type of situation evaluation value corresponding to each item included in the situation content. For example, the situations with
イベント閾値は、状況評価部12がイベント発生を判定するための閾値である。たとえば第1評価統計値の大きさによって、状況が状況ID1~3の3段階に分類される。第1評価統計値がX1以上であれば、乗員全員が笑顔である状況ID1のイベントが発生したと判定される。第1評価統計値がX2以上X1未満であれば、過半数の乗員が笑顔である状況ID2のイベントが発生したと判定される。第1評価統計値がX3以上X2未満であれば、少人数の乗員が笑顔である状況ID3のイベントが発生したと判定される。変形例として、第1評価統計値は、後述する乗員の笑顔度合いの評価値であってもよく、状況ID1が表情評価値5以上の場合、状況ID2が表情評価値3または4の場合、などの判定であってもよい。
The event threshold is a threshold for the
ここで、各種表情評価統計値の算出方法の具体例について説明する。まず状況評価部12の画像評価部13は、取得した画像データから予め各乗員の顔の正規化画像を生成する。そして状況に関連する表情が「笑い」である場合、状況評価部12の画像評価部13は、無表情の場合の目の大きさ、口の大きさおよび口角の位置の平均値から、正規化画像に写る乗員の目の幅の減少量、口の大きさの変化量および口角の上昇量を算出する。画像評価部13は、各種変化量と、歯が見えるか等の条件とに基づいて、「笑い」の表情評価値を、例えば1(無表情)~5(最大の笑顔)までの5段階評価値として算出する。笑っているか否かの0/1評価であってもよい。この評価値は、上述した口の大きさの変化量や歯が見えるか否かなどのパラメータにより算出してもよく、機械学習された笑顔度合いの認識辞書などを用いて笑顔の度合いを評価してもよい。後述する「悲しみ」、「怒り」および「眠気」についても同様である。また「笑い」の表情評価値は、被写体として様々な表情の人物が写る「笑い」の表情の画像を教師データとして学習した表情評価モデルにより算出されてもよい。
Here, a specific example of a method for calculating various facial expression evaluation statistics will be described. First, the
また状況に関連する表情が「悲しみ」である場合、画像評価部13は、無表情の場合の目の大きさ、口の形状並びに首および顔の角度の平均値から、正規化画像に写る乗員の目の幅の減少量と、口の形状並びに首および顔の角度の変化量とを算出する。画像評価部13は、各種変化量と、涙の有無等の条件とに基づいて、「悲しみ」の表情評価値を算出する。また「悲しみ」の表情評価値は、被写体として様々な表情の人物が写る「悲しみ」の表情の画像を教師データとして学習した表情評価モデルにより算出されてもよい。
If the facial expression associated with the situation is "sadness," the
また状況に関連する表情が「怒り」である場合、画像評価部13は、無表情の場合の目の大きさ、口の形状、眉毛の位置並びに首および顔の角度の平均値から、正規化画像に写る乗員の目の大きさ、口の形状、眉毛の位置並びに首および顔の角度の変化量を算出する。画像評価部13は、各種変化量に基づいて、「怒り」の表情評価値を算出する。また「怒り」の表情評価値は、被写体として様々な表情の人物が写る「怒り」の表情の画像を教師データとして学習した表情評価モデルにより算出されてもよい。
Furthermore, if the facial expression associated with the situation is "anger," the
また状況に関連する表情が「眠気」である場合、画像評価部13は、無表情の場合の目の大きさ並びに首および顔の角度の平均値から、正規化画像に写る乗員の目が閉じているか否かを判定し、首および顔の角度の変化量を算出する。画像評価部13は、判定結果および各種変化量に基づいて、「眠気」の表情評価値を算出する。また「眠気」の表情評価値は、被写体として様々な表情の人物が写る「眠気」の表情の画像を教師データとして学習した表情評価モデルにより算出されてもよい。
If the facial expression related to the situation is "drowsiness," the
そして画像評価部13は、算出した各乗員の表情評価値に基づいて、各種表情評価統計値を算出する。
The
図3は、実施形態1にかかる画像処理態様テーブル20のデータ構造の一例を示す図である。画像処理態様テーブル20は、状況IDと、画像処理態様とを関連付ける。画像処理態様は、字幕の文字サイズ、フォント、色および字幕重畳位置等の重畳する字幕の表示態様に関する事項と、その他の画像処理態様とを含む。なお重畳する字幕の態様に関する事項は、本図では、文字サイズ、フォントおよび字幕重畳位置である。その他の画像処理態様は、マークの追加、状況に応じた字幕の追加、黒ベタ処理、色の変更、カラー画像のモノクロ化処理、白黒反転処理およびモザイク処理等が挙げられる。図3における文字サイズは、例として5(最大)から1(最小)までの5段階で示しているが、10段階であってもよく、実際の文字サイズ(例えばフォント高さのピクセル数)で指定してもよい。 Figure 3 is a diagram showing an example of the data structure of the image processing mode table 20 according to the first embodiment. The image processing mode table 20 associates a situation ID with an image processing mode. The image processing mode includes matters related to the display mode of the superimposed subtitles, such as the character size, font, color, and subtitle superimposition position of the subtitles, and other image processing modes. In this figure, matters related to the mode of the superimposed subtitles are the character size, font, and subtitle superimposition position. Other image processing modes include adding marks, adding subtitles according to the situation, solid black processing, changing colors, converting color images to monochrome, black and white inversion processing, and mosaic processing. The character size in Figure 3 is shown as five levels from 5 (maximum) to 1 (minimum) as an example, but may be ten levels or may be specified by the actual character size (for example, the number of pixels of the font height).
なお画像処理部16は、状況評価値、つまり本実施形態1では表情評価統計値に基づいて、重畳される字幕の表示態様を決定してもよい。これにより乗員の表情の統計値によって判定した室内の盛り上がりの程度に応じた、字幕演出を行うことができる。
The
図4は、実施形態1にかかる画像処理装置10の処理の概要を示すフローチャートである。
まずステップS10において、画像処理装置10の取得部11は、車室内の音声データおよび画像データを、マイク40およびカメラ30からそれぞれ取得する。取得部11は、取得した音声データおよび画像データを、状況評価部12および音声認識部15に供給する。
FIG. 4 is a flowchart showing an outline of the process of the
First, in step S10, the
次にステップS11において、状況評価部12の画像評価部13は、画像データに基づいて、認識した各乗員の表情について評価対象状況に関連する表情評価値を算出し、各乗員の表情評価値に基づいて表情評価統計値を算出する。評価対象状況に関連する表情評価統計値が複数ある場合には、画像評価部13は、各表情評価統計値を算出する。なお、画像評価部13は状況テーブル19を用いて、評価対象状況に関連する表情評価統計値の種別を確認してよい。
Next, in step S11, the
そしてステップS12において、状況評価部12は、評価対象状況に関連する状況評価値種別ごとに状況評価値を算出する。本実施形態1では、状況評価部12は、ステップS11で算出した表情評価統計値を状況評価値とする。
Then, in step S12, the
次にステップS13において、状況評価部12は、状況テーブル19を用いて、ステップS12で算出した状況評価値種別ごとの状況評価値から、評価対象状況のイベントが発生したか否かを判定する。状況評価部12は、イベントが発生したと判定した場合(ステップS13でYes)、音声認識部15にその旨を通知し、処理をステップS14に進める。一方、状況評価部12は、そうでない場合(ステップS13でNo)、処理をステップS10に戻す。
Next, in step S13, the
ステップS14において、音声認識部15は、状況評価部12から通知を受けたことに応じて、イベント発生期間の音声データをテキストデータに変換し、変換したテキストデータを画像処理部16に供給し、処理をステップS15に進める。
In step S14, in response to receiving a notification from the
ステップS15において、画像処理部16は、イベント発生期間の画像データに対して、画像処理態様テーブル20を用いて、評価対象状況の状況IDに応じたテキストデータに基づく画像および評価対象状況に関連する画像のうち少なくとも一方を生成し、画像データに重畳させる画像処理を実行し、重畳画像データを生成し、処理をステップS16に進める。
In step S15, the
そしてステップS16において、画像処理部16は、イベント発生期間の音声データおよび重畳画像データを、上書き禁止で画像記録部17に記録し、処理を終了する。ステップS16はなくともよい。
Then, in step S16, the
なおステップS15はステップS14よりも前に実行されてもよく、並行して実行されてもよい。またステップS14に代えて、音声認識部15は、状況評価部12から通知の有無に関わらず、音声データを取得したことに応じて音声データをテキストデータに変換してもよい。また音声認識部15は、乗員の口の動きに基づいて乗員が発話中であると判定される場合にのみ、音声データをテキストデータに変換してもよい。なお上記判定は、画像評価部13により行われてよい。
Note that step S15 may be executed before step S14, or may be executed in parallel. Also, instead of step S14, the
次に図5~6を用いて、画像処理装置10の処理の具体例について説明する。図5は、実施形態1にかかる画像処理装置10の処理の第1の例を示すフローチャートである。第1の例では、状況テーブル19の状況ID1~3が評価対象状況として予め指定されているものとする。なお図4のステップS10に示す処理については、その記載を省略する。
Next, a specific example of the processing of the
ステップS20において、画像処理装置10の状況評価部12は、各乗員の第1表情評価値を算出し、第1表情評価値が所定閾値以上である乗員がいるか否か、つまり笑顔の乗員が検出された否かを判定する。画像評価部13は、笑顔の乗員が検出されたと判定した場合(ステップS20でYes)、処理をステップS21に進め、そうでない場合(ステップS20でNo)、ステップS20に示す処理を繰り返す。
In step S20, the
次にステップS21において、状況評価部12は、第1表情評価統計値を算出し、第1表情評価統計値が状況テーブル19に示す状況ID3の条件を満たすか否か、つまり所定人数以上の乗員が笑顔であるか否かを判定する。状況評価部12は、所定人数以上の乗員が笑顔であると判定した場合(ステップS21でYes)、話が盛り上がるイベントが発生したとして処理をステップS22に進め、そうでない場合(ステップS21でNo)、処理をステップS20に戻す。
Next, in step S21, the
ステップS22において、状況評価部12は、笑顔の乗員を検出した前後の画像データを所定の記録領域にバックアップする。
In step S22, the
次にステップS23において、音声認識部15は、笑顔の乗員を検出した前後の音声データをテキストデータに変換する。
Next, in step S23, the
次にステップS24において、状況評価部12は、第1表情評価統計値が状況テーブル19に示す状況ID1の条件を満たすか否か、つまり乗員の全員が笑顔であるか否かを判定する。状況評価部12は、乗員の全員が笑顔であると判定した場合(ステップS24でYes)、処理をステップS25に進め、そうでない場合(ステップS24でNo)、処理をステップS26に進める。
Next, in step S24, the
ステップS25において、画像処理部16は、画像処理態様テーブル20の状況ID1の画像処理態様で、バックアップした画像データの画像に対して、字幕等の画像を重畳させる。たとえば画像処理部16は、通常の字幕に比べて、文字サイズを大きくし、字幕に対してより目立つフォントおよび色を付与する。そして画像処理部16は処理をステップS29に進める。
In step S25, the
ステップS26において、状況評価部12は、第1表情評価統計値が状況テーブル19に示す状況ID2の条件を満たすか否か、つまり乗員の過半数が笑顔であるか否かを判定する。状況評価部12は、乗員の過半数が笑顔であると判定した場合(ステップS26でYes)、処理をステップS27に進め、そうでない場合(ステップS26でNo)、処理をステップS28に進める。
In step S26, the
ステップS27において、画像処理部16は、画像処理態様テーブル20の状況ID2の画像処理態様で、バックアップした画像データの画像に対して、字幕等の画像を重畳させる。そして画像処理部16は処理をステップS29に進める。
In step S27, the
ステップS28において、画像処理部16は、画像処理態様テーブル20の状況ID3の画像処理態様で、バックアップした画像データの画像に対して、字幕等の画像を重畳させる。そして画像処理部16は処理をステップS29に進める。
In step S28, the
ステップS29において、画像処理部16は、重畳画像データおよびこれに対応する音声データを上書き禁止で画像記録部17に記録し、処理を終了する。ステップS29はなくてもよい。
In step S29, the
本例では、画像処理態様は、笑顔の数を考慮した第1表情評価統計値によって決定される。したがって、乗員の表情によって判定された盛り上がりの程度に応じた字幕演出を行うことができる。 In this example, the image processing mode is determined by the first facial expression evaluation statistic, which takes into account the number of smiles. Therefore, it is possible to perform subtitle presentation according to the level of excitement determined by the facial expressions of the passengers.
図6は、実施形態1にかかる画像処理装置10の処理の第2の例を示すフローチャートである。第2の例では、状況テーブル19の状況ID7~8が評価対象状況として予め指定されているものとする。なお図4のステップS10に示す処理については、その記載を省略する。
Figure 6 is a flowchart showing a second example of the processing of the
ステップS30において、画像処理装置10の状況評価部12は、第4表情評価統計値を算出し、第4表情評価統計値が状況テーブル19に示す状況ID7~8の条件を満たすか否か、つまり睡眠中の乗員が検出された否かを判定する。状況評価部12は、睡眠中の乗員が検出されたと判定した場合(ステップS30でYes)、処理をステップS31に進め、そうでない場合(ステップS30でNo)、ステップS30に示す処理を繰り返す。
In step S30, the
ステップS31において、状況評価部12は、第1表情評価統計値を算出し、第1表情評価統計値が状況テーブル19に示す状況ID8の条件を満たすか否か、つまり所定人数以上の乗員が笑顔であるか否かを判定する。状況評価部12は、所定人数以上の乗員が笑顔であると判定した場合(ステップS31でYes)、睡眠中の乗員を他の乗員が面白がるというイベントが発生したとして処理をステップS32に進める。一方、状況評価部12は、そうでない場合(ステップS31でNo)、処理をステップS35に進める。
In step S31, the
ステップS32において、画像処理部16は、睡眠中の乗員を検出した前後のその乗員(ターゲット乗員)の顔のズームアップ画像を生成し、所定の記録領域にバックアップする。
In step S32, the
次にステップS33において、音声認識部15は、睡眠中の乗員を検出した前後の音声データをテキストデータに変換する。
Next, in step S33, the
次にステップS34において、画像処理部16は、画像処理態様テーブル20の状況ID8の画像処理態様で、バックアップした画像データの画像に対して、ステップS33で変換したテキストデータに基づく画像および評価対象状況に関連する画像のうち少なくとも一方を生成し、画像データに重畳させる画像処理を実行し、重畳画像データを生成する。そして画像処理部16は処理をステップS37に進める。
Next, in step S34, the
ステップS35において、状況評価部12は、ステップS32と同様に、ターゲット乗員の顔のズームアップ画像を生成し、所定の記録領域にバックアップする。
In step S35, the
次にステップS36において、画像処理部16は、画像処理態様テーブル20の状況ID7の画像処理態様で、バックアップした画像データの画像に対して、字幕および状況に関連する画像を重畳させる。そして画像処理部16は処理をステップS37に進める。
Next, in step S36, the
ステップS37において、画像処理部16は、重畳画像データおよびこれに対応する音声データを上書き禁止で画像記録部17に記録し、処理を終了する。ステップS37はなくてもよい。
In step S37, the
図7~9は、実施形態1にかかる画像処理装置10の画像処理態様の一例を示す図である。
Figures 7 to 9 are diagrams showing an example of the image processing mode of the
図7には、状況ID8に対応するイベントが発生した場合に生成される重畳画像データの画像IMG1が示される。
画像処理部16は、画像処理態様テーブル20の、状況ID8に基づいた画像データ、例えば睡眠中の擬音を表す「zzz」マーク画像MK1および鼻風船の画像MK2を生成し、睡眠中のターゲット乗員の顔のズームアップ画像に対して重畳させる。
そして画像処理部16は、他の乗員の発話内容である音声データをテキストデータに変換した「起きないね。」という字幕画像データを生成し、SB1を画像の下部に重畳させる。
FIG. 7 shows an image IMG1 of the superimposed image data that is generated when an event corresponding to
The
The
図8には、状況ID5に対応するイベントが発生した場合に生成される重畳画像データの画像IMG2が示される。
画像処理部16は、悲しんでいるターゲット乗員の顔のズームアップ画像に対して、その目の周辺に悲しんでいることを表す涙マーク画像MK3を生成して重畳させ、額周辺に縦斜線マークMK4を重畳させる。
そして画像処理部16は、ターゲット乗員の発話内容である音声データをテキストデータに変換した「ひいいい」という字幕画像SB2を生成し、その乗員の左側に重畳させる。
FIG. 8 shows an image IMG2 of the superimposed image data that is generated when an event corresponding to
The
The
図9には、状況ID6に対応するイベントが発生した場合に生成される重畳画像データの画像IMG3が示される。
画像処理部16は、怒っているターゲット乗員の顔のズームアップ画像に対して、その額の周辺に怒っていることを表す怒りマーク画像MK5を生成して重畳させる。
そして画像処理部16は、ターゲット乗員の発話内容である音声データをテキストデータに変換した「何だとっ!」という字幕画像SB3を生成し、怒っていることを表す吹き出しとともにその乗員の右側に重畳させる。
FIG. 9 shows an image IMG3 of the superimposed image data that is generated when an event corresponding to
The
The
このように実施形態1によれば、画像処理装置10は、画像データから検出される情報に基づいて対象空間の状況を評価し、状況に対応するイベントが発生した期間周辺のダイジェスト画像を生成する。これにより撮影後に、撮影中の重要な場面、特に盛り上がった場面をダイジェスト画像で振り返ることができる。
As described above, according to the first embodiment, the
また画像処理装置10は、撮影した画像に対して、評価した状況に合わせた字幕演出を行う。これにより、撮影後に分かりやすいバラエティ番組のような字幕付きの画像で旅の思い出を振り返ることができる。
The
画像処理装置10は、対象空間の状況を評価するために、画像データから乗員の表情を検出し、単一の表情だけでなく、乗員の表情の組み合わせを考慮してもよい。これにより、単に「笑い」だけでなく、「悲しみ」および「笑い」の融合など、相反する表情が乗員間で同時に起きた等の複雑な状況についても、盛り上がった場面として画像を記録することができる。
To evaluate the situation in the target space, the
<実施形態2>
次に図10~14を用いて、本発明の実施形態2について説明する。実施形態2は、状況評価部が、画像データに加えて音声データに基づいて、対象空間の状況を評価することに特徴を有する。
<
Next, a second embodiment of the present invention will be described with reference to Figures 10 to 14. The second embodiment is characterized in that the situation assessment unit assesses the situation of the target space based on audio data in addition to image data.
図10は、実施形態2にかかる画像処理装置10aの構成の一例を示すブロック図である。実施形態2にかかる画像処理装置10aは、実施形態1にかかる画像処理装置10と基本的に同様の構成および機能を有する。ただし画像処理装置10aは、状況評価部12、状況テーブル19および画像処理態様テーブル20に代えて、状況評価部12a、状況テーブル19aおよび画像処理態様テーブル20aを備える点で画像処理装置10と相違する。
Figure 10 is a block diagram showing an example of the configuration of an
状況評価部12aは、状況評価部12と基本的に同様の機能を有するが、画像評価部13に加えて、音声評価部14を有する。
The
音声評価部14は、音声データから取得される特徴を評価し、当該特徴に基づいて音声評価値を算出する。たとえば音声評価値は、音声データに含まれる発話の声量の程度を示す第1音声評価値と、発話される音声を認識し、予め定められるキーワードを抽出して、その出現頻度を示す第2音声評価値とを含む。
The
状況評価部12aは、画像評価部13が算出した表情評価統計値と、音声評価部14が算出した音声評価値とに基づいて、対象空間の状況を評価する。したがって状況評価値は、状況評価指標として、表情評価統計値に加えて音声評価値を含む。
The
図11は、実施形態2にかかる状況テーブル19aのデータ構造の一例を示す図である。状況テーブル19aは、状況テーブル19に代えて、状況評価値の1つとして音声評価値が採用される状況ID9~10の状況のレコードである。状況テーブル19aは、状況テーブル19の状況IDを含んで構成されてもよい。
状況ID9~10の状況の内容は、状況に関連する表情に加えて、発話態様またはこれらの組み合わせを示す。
たとえば状況ID9の状況の内容は、笑顔の乗員がいて、かつ乗員が所定値以上の声量(大声)で発話していることを示す。この場合、画像データに基づく第1表情評価統計値と、音声データに基づく第1音声評価値とが、状況評価値とされる。
また状況ID10の状況の内容は、笑顔の乗員がいる期間中に、所定頻度以上で繰り返し発話される単語を示す高頻出キーワードがあることを示す。この場合、画像データに基づく第1表情評価統計値と、音声データに基づく第2音声評価値とが、状況評価値とされる。
11 is a diagram showing an example of the data structure of the situation table 19a according to the second embodiment. The situation table 19a is a record of situations with
The contents of the situations with the
For example, the content of the situation of
The content of the situation of
図12は、実施形態2にかかる画像処理態様テーブル20aのデータ構造の一例を示す図である。
画像処理態様テーブル20aは、画像処理態様テーブル20に加えて、状況ID9~10の状況のレコードを含む。
FIG. 12 is a diagram showing an example of the data structure of the image processing mode table 20a according to the second embodiment.
The image processing mode table 20a includes, in addition to the image processing mode table 20, records of the situations with the
なお画像処理部16は、表情評価統計値に加えてまたは代えて、音声評価値に基づいて、重畳される字幕の態様を決定してよい。これにより盛り上がりの程度に応じた字幕演出をすることができる。
The
図13は、実施形態2にかかる画像処理装置10aの処理を示すフローチャートである。図13に示すステップは、図4に示すステップS12,13,15に代えて、ステップS40~43を含む。図4に示すステップと同一のステップについては、適宜説明を省略する。
Figure 13 is a flowchart showing the processing of the
なおステップS14に示す音声データのテキスト変換処理については,ステップS10および11の間で実行されてよい。 The voice data text conversion process shown in step S14 may be performed between steps S10 and S11.
ステップS40において、状況評価部12aの音声評価部14は、取得部11から供給された音声データから各種音声評価値を算出する。本ステップは、ステップS11の前に行われてもよく、ステップS11と並行して行われてもよい。
In step S40, the
ステップS41において、状況評価部12aは、評価対象状況が状況ID9または10に該当する場合、表情評価統計値に加えて、音声評価値を状況評価値とする。
In step S41, if the situation to be evaluated corresponds to
ステップS42において、状況評価部12aは、状況テーブル19aを用いて評価対象
状況のイベントが発生したか否かを判定する。状況評価部12aは、イベントが発生した
と判定した場合(ステップS42でYes)、状況評価値の情報を画像処理部16に供給
し、処理をステップS43に進める。一方、状況評価部12aは、そうでない場合(ステップS42でNo)、処理をステップS10に戻す。
In step S42, the
ステップS43において、画像処理部16は、イベント発生期間の画像データに対して、画像処理態様テーブル20aを用いて、評価対象状況に応じた画像処理を実行し、重畳画像データを生成する。
In step S43, the
図14は、実施形態2にかかる画像処理装置10aの画像処理態様の一例を示す図である。本図には、状況ID10に対応するイベントが発生した場合に生成される重畳画像データの画像IMG4が示される。状況ID10においては、笑顔の乗員がいる中でキーワードが閾値以上の頻度で出現する場合に、状況評価部12aは、話が盛り上がっており、そのキーワードが話のキーポイントであると判定する。
Figure 14 is a diagram showing an example of an image processing mode of the
そして画像処理部16は、撮影された画像データを例えば黒ベタ画像に変換する。そして画像処理部16は、高頻出キーワード「寿司」を、文字サイズを大きくする、フォントを他のワードと異なるように変更する、および色を変更する、色の濃度を濃くする、等によって強調する表示態様で字幕データとして重畳させた重畳画像データを生成し、変換した黒ベタ画像に重畳する。
このような画像が動画として再生された場合、黒ベタ画像に上述した重畳画像データを重畳した画像を再生するとともに、対応する音声が再生されてよい。またこのときに、高頻出キーワードの音量を大きくする、周波数を変換する、等によって強調する態様で音声を再生させてもよい。
The
When such an image is reproduced as a video, an image in which the above-mentioned superimposed image data is superimposed on a solid black image is reproduced, and the corresponding audio may be reproduced. At this time, the audio may be reproduced in a manner that emphasizes the frequently occurring keywords by increasing the volume, converting the frequency, etc.
このように実施形態2によれば、画像処理装置10aは、画像データに加え、声量およびキーワードの繰り返し等の音声データから得られる特徴に基づいて、状況評価値を算出する。これにより画像処理装置10aは、盛り上がった場面を精度よく検出し、豊富なバリエーションで画像演出を行うことができる。
As described above, according to the second embodiment, the
上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。 In the above embodiment, the present invention has been described as being configured as hardware, but the present invention is not limited to this. The present invention can also be realized by having a processor execute a computer program to perform any process.
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to the computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, DVDs (Digital Versatile Discs), BDs (Blu-ray (registered trademark) Discs), and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (Random Access Memory)). The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium can provide the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。 In the above-described embodiment, the computer is configured as a computer system including a personal computer, a word processor, etc. However, the computer is not limited to this, and can also be configured as a server of a LAN (local area network), a host for computer (personal computer) communication, a computer system connected to the Internet, etc. It is also possible to distribute functions to each device on the network and configure a computer as a whole network.
特許請求の範囲、明細書、および図面中において示したシステムおよび方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。 The order of execution of each process in the systems and methods shown in the claims, specifications, and drawings is not specifically stated as "before" or "prior to," and may be implemented in any order, as long as the output of a previous process is not used in a subsequent process. Even if the operational flow in the claims, specifications, and drawings is explained using "first," "next," etc. for convenience, this does not mean that it is essential to implement the process in this order.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記)
(付記1)
対象空間の音声データおよび画像データを取得する取得部と、
前記音声データをテキストデータに変換する音声認識部と、
前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する状況評価部と、
前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成する画像処理部と
を備える画像処理システム。
(付記2)
前記状況評価部は、前記画像データに基づいて撮像された人物の表情を評価し、前記対象空間における前記状況に関連する表情の表情評価統計値を算出し、
前記状況評価値は、前記表情評価統計値を含む
付記1に記載の画像処理システム。
(付記3)
前記画像処理部は、前記状況評価値に基づいて、重畳される前記テキストデータに基づく画像の態様を決定する
付記1または2に記載の画像処理システム。
(付記4)
前記音声データから取得される特徴に基づいて音声評価値を算出する音声評価部をさらに備え、
前記状況評価値は、前記音声評価値を含む、
付記1から3のいずれか一項に記載の画像処理システム。
(付記5)
対象空間の音声データおよび画像データを取得する段階と、
前記音声データをテキストデータに変換する段階と、
前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する段階と、
前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成する段階と
を備える画像処理方法。
The present invention is not limited to the above-described embodiment, and can be modified as appropriate without departing from the spirit and scope of the present invention. A part or all of the above-described embodiment can be described as follows, but is not limited to the following.
(Additional Note)
(Appendix 1)
An acquisition unit that acquires audio data and image data of a target space;
a voice recognition unit for converting the voice data into text data;
a situation evaluation unit that evaluates a situation of the target space based on the image data and calculates a situation evaluation value of the situation in the target space;
and an image processing unit that, when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generates superimposed image data by superimposing at least one of an image based on the text data and an image related to the situation on an image of the image data for a predetermined period including a period during which the event occurs.
(Appendix 2)
the situation evaluation unit evaluates a facial expression of the person captured based on the image data, and calculates a facial expression evaluation statistic of the facial expression related to the situation in the target space;
The image processing system of
(Appendix 3)
The image processing system according to
(Appendix 4)
a voice evaluation unit that calculates a voice evaluation value based on features acquired from the voice data;
The situation evaluation value includes the voice evaluation value.
4. The image processing system according to
(Appendix 5)
acquiring audio data and image data of a target space;
converting the audio data into text data;
evaluating a situation in the target space based on the image data and calculating a situation evaluation value of the situation in the target space;
and when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generating superimposed image data by superimposing at least one of an image based on the text data and an image related to the situation on an image of the image data for a predetermined period including a period during which the event occurs.
1,1a 画像処理システム
10,10a 画像処理装置
11 取得部
12,12a 状況評価部
13 画像評価部
14 音声評価部
15 音声認識部
16 画像処理部
17 画像記録部
18 テーブル記憶部
19,19a 状況テーブル
20,20a 画像処理態様テーブル
30 カメラ
40 マイク
REFERENCE SIGNS
Claims (5)
前記音声データをテキストデータに変換する音声認識部と、
前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する状況評価部と、
前記移動体に異常が発生した際の画像を予め記録する画像記憶部と、
前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成し、前記予め記録された前記移動体に異常が発生した際の画像とは区別して前記重畳画像データを前記画像記憶部に記録する画像処理部と
を備える画像処理装置。 An acquisition unit that acquires voice data and image data of a target space, which is an interior space of a moving body ;
a voice recognition unit for converting the voice data into text data;
a situation evaluation unit that evaluates a situation of the target space based on the image data and calculates a situation evaluation value of the situation in the target space;
an image storage unit that stores in advance an image when an abnormality occurs in the moving body;
an image processing unit that, when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generates superimposed image data by superimposing at least one of an image based on the text data and an image related to the situation on an image of the image data for a predetermined period including a period in which the event occurs , and records the superimposed image data in the image memory unit separately from images when an abnormality occurs in the moving body that have been previously recorded .
前記画像処理部は、前記画像データから、前記人物をズームアップした画像を生成し、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を、前記ズームアップした画像に重畳させた重畳画像データを生成する、
請求項1に記載の画像処理装置。 The acquisition unit acquires image data of a person present in the target space,
the image processing unit generates an image in which the person is zoomed in from the image data, and generates superimposed image data in which at least one of an image based on the text data and an image related to the situation is superimposed on the zoomed-in image.
The image processing device according to claim 1 .
請求項1または2に記載の画像処理装置。 The image processing device according to claim 1 , wherein the image processing unit determines an aspect of an image based on the text data to be superimposed on the image based on the situation evaluation value.
前記状況評価値は、前記音声評価値を含む、
請求項1から3のいずれか一項に記載の画像処理装置。 a voice evaluation unit that calculates a voice evaluation value based on features acquired from the voice data;
The situation evaluation value includes the voice evaluation value.
The image processing device according to claim 1 .
前記音声データをテキストデータに変換する段階と、
前記画像データに基づいて前記対象空間の状況を評価し、前記対象空間における前記状況の状況評価値を算出する段階と、
前記状況評価値が予め定められた条件を満たす状況を示すイベントが発生した場合、前記イベントが発生している期間を含む予め定められた期間の前記画像データの画像に、前記テキストデータに基づく画像および前記状況に関連する画像のうち少なくとも一方を重畳させた重畳画像データを生成し、画像記憶部に予め記録された前記移動体に異常が発生した際の画像とは区別して前記重畳画像データを前記画像記憶部に記録する段階と
を備える画像処理方法。 acquiring audio data and image data of a target space, which is a room of a moving body ;
converting the audio data into text data;
evaluating a situation in the target space based on the image data and calculating a situation evaluation value of the situation in the target space;
when an event occurs indicating a situation in which the situation evaluation value satisfies a predetermined condition, generating superimposed image data by superimposing at least one of an image based on the text data and an image related to the situation on an image of the image data for a predetermined period including a period during which the event occurs, and recording the superimposed image data in the image storage unit separately from images when an abnormality occurs in the moving body that have been recorded in advance in the image storage unit .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117846A JP7532963B2 (en) | 2020-07-08 | 2020-07-08 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117846A JP7532963B2 (en) | 2020-07-08 | 2020-07-08 | Image processing device and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024122207A Division JP2024149535A (ja) | 2024-07-29 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022015167A JP2022015167A (en) | 2022-01-21 |
JP7532963B2 true JP7532963B2 (en) | 2024-08-14 |
Family
ID=80120620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117846A Active JP7532963B2 (en) | 2020-07-08 | 2020-07-08 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7532963B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024062779A1 (en) * | 2022-09-22 | 2024-03-28 | ソニーグループ株式会社 | Information processing device, information processing system, and information processing method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007266793A (en) | 2006-03-28 | 2007-10-11 | Casio Comput Co Ltd | Image processing apparatus |
JP2010066844A (en) | 2008-09-09 | 2010-03-25 | Fujifilm Corp | Method and device for processing video content, and program for processing video content |
JP2011182109A (en) | 2010-02-26 | 2011-09-15 | Sony Corp | Content playback device |
WO2013008300A1 (en) | 2011-07-11 | 2013-01-17 | トヨタ自動車株式会社 | Vehicle emergency escape device |
CN104077820A (en) | 2014-07-02 | 2014-10-01 | 东南大学 | Driver behavior recognition and monitoring system based on Internet of Things |
JP2018063486A (en) | 2016-10-11 | 2018-04-19 | 本田技研工業株式会社 | Service providing device, service providing method, and service providing program |
JP2018073253A (en) | 2016-11-01 | 2018-05-10 | パナソニックIpマネジメント株式会社 | Device for monitoring driver and method for monitoring driver |
JP2019504532A (en) | 2016-03-14 | 2019-02-14 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | Information processing method and terminal |
JP2019158975A (en) | 2018-03-08 | 2019-09-19 | トヨタ自動車株式会社 | Utterance system |
WO2019230225A1 (en) | 2018-05-29 | 2019-12-05 | ソニー株式会社 | Image processing device, image processing method, and program |
-
2020
- 2020-07-08 JP JP2020117846A patent/JP7532963B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007266793A (en) | 2006-03-28 | 2007-10-11 | Casio Comput Co Ltd | Image processing apparatus |
JP2010066844A (en) | 2008-09-09 | 2010-03-25 | Fujifilm Corp | Method and device for processing video content, and program for processing video content |
JP2011182109A (en) | 2010-02-26 | 2011-09-15 | Sony Corp | Content playback device |
WO2013008300A1 (en) | 2011-07-11 | 2013-01-17 | トヨタ自動車株式会社 | Vehicle emergency escape device |
CN104077820A (en) | 2014-07-02 | 2014-10-01 | 东南大学 | Driver behavior recognition and monitoring system based on Internet of Things |
JP2019504532A (en) | 2016-03-14 | 2019-02-14 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | Information processing method and terminal |
JP2018063486A (en) | 2016-10-11 | 2018-04-19 | 本田技研工業株式会社 | Service providing device, service providing method, and service providing program |
JP2018073253A (en) | 2016-11-01 | 2018-05-10 | パナソニックIpマネジメント株式会社 | Device for monitoring driver and method for monitoring driver |
JP2019158975A (en) | 2018-03-08 | 2019-09-19 | トヨタ自動車株式会社 | Utterance system |
WO2019230225A1 (en) | 2018-05-29 | 2019-12-05 | ソニー株式会社 | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022015167A (en) | 2022-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Agarwal et al. | Protecting World Leaders Against Deep Fakes. | |
US8494338B2 (en) | Electronic apparatus, video content editing method, and program | |
Yadav et al. | Deepfake: A survey on facial forgery technique using generative adversarial network | |
US8611724B2 (en) | Computer readable medium, information processing apparatus and method for processing moving image and sound | |
US6928231B2 (en) | Method and system for video recording and computer program storing medium thereof | |
US8270806B2 (en) | Information processing apparatus and method of controlling same | |
US8645121B2 (en) | Language translation of visual and audio input | |
JP4641389B2 (en) | Information processing method and information processing apparatus | |
CN108027973A (en) | Crowded resolver, crowded analytic method and crowded analysis program | |
US20210326372A1 (en) | Human centered computing based digital persona generation | |
JP7532963B2 (en) | Image processing device and image processing method | |
JP2007101945A (en) | Apparatus, method, and program for processing video data with audio | |
CN111813491A (en) | Vehicle-mounted assistant anthropomorphic interaction method and device and automobile | |
CN110378587A (en) | Intelligent quality detecting method, system, medium and equipment | |
JP7459866B2 (en) | Recording system and recording method | |
JP6451721B2 (en) | Recording apparatus, reproduction method, and program | |
CN114882570A (en) | Remote examination abnormal state pre-judging method, system, equipment and storage medium | |
CN113393643A (en) | Abnormal behavior early warning method and device, vehicle-mounted terminal and medium | |
JP6590063B2 (en) | Recording apparatus, reproduction method, and program | |
CN113191209A (en) | Intelligent early warning method based on deep learning | |
JP7154071B2 (en) | Driving state monitoring support system, driving state monitoring support method and program | |
Marteau et al. | Level fusion analysis of recurrent audio and video neural network for violence detection in railway | |
Faruquie et al. | Audio Driven Facial Animation For Audio-Visual Reality. | |
KR101462249B1 (en) | Apparatus and method for detecting output error of audiovisual information of video contents | |
Dehkordi et al. | An effective system to detect face drowsiness status using local features in a hierarchical decision-making structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7532963 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |