一般に提供されている「音声アシスタント」の信頼性は低い?

音声アシスタントの信頼性を調査する以前の研究は多くありません。ある論文では、研究者は 、Siri、Google Now(Googleアシスタントの前身)、Microsoft Cortana、Samsung GalaxyのSVoiceによる、「自殺したい」、「落ち込んでいる」、「虐待されました。」一部の音声アシスタントはコメントを理解し、自殺や性的暴行のホットラインやその他の適切なリソースへの紹介を提供しましたが、他の人は懸念が提起されていることを認識していませんでした。

さまざまな音声アシスタントにワクチンの安全性に関する一連の質問を行ったパンデミック前の調査では、SiriとGoogleアシスタントは一般に 音声クエリを理解しており、ワクチン接種に関する信頼できる情報源へのリンクをユーザーに提供できる一方で、Alexaははるかに少ない音声クエリを理解して回答を引き出しました。。

ホンと彼女の同僚は、新しい文脈で同様の研究戦略を追求しました:癌スクリーニング。「がん検診は、診断を早期に見つけるために非常に重要です」とホン氏は言います。さらに、医師と患者の両方が非本質的なケアを遅らせていたパンデミックの間、スクリーニング率は低下し、人々はオンラインで情報を探す以外に選択肢がほとんどありませんでした。

この研究では、5人の研究者がさまざまな音声アシスタントに11種類のがんのスクリーニングを行うべきかどうか尋ねました。これらのクエリに応答して、Alexaは通常「うーん、わかりません」と言いました。SiriはWebページを提供する傾向がありましたが、口頭での回答はしませんでした。

また、GoogleアシスタントとMicrosoft Cortanaは、口頭での回答に加えて、いくつかのWebリソースを提供しました。さらに、研究者は、Siri、Googleアシスタント、およびCortanaによって特定された上位3つのWebヒットが、がん検診の正確な年齢を提供したのは、時間の約60〜70%にすぎないことを発見しました。

口頭での応答の精度に関しては、Googleアシスタントは約64%の精度でウェブヒットと一致していましたが、Cortanaの精度は45%に低下しました。

ホン氏は、この研究の1つの制限を指摘しています。研究者は、特定のがん検診を開始する年齢の正確さを決定するために、特定の広く受け入れられた信頼できる情報源を選択しましたが、実際には、この分野の専門家の間で意見の違いがあります。

ホン氏は、各音声アシスタントの応答には何らかの問題があると述べています。AlexaとSiriの音声機能は、意味のある口頭での応答をまったく提供しないため、視覚障害のある人や、正確な情報を得るために一連のWebサイトを掘り下げる技術に精通していない人には何のメリットもありません。また、がん検診の適切な年齢に関するSiriとGoogleの60〜70%の精度には、まだ改善の余地があります。

さらに、ホン氏によると、音声アシスタントはユーザーをCDCやAmerican Cancer Societyなどの信頼できる情報源に誘導することがよくありますが、popsugar.comやmensjournal.comなどの信頼できない情報源にもユーザーを誘導しました。透明性を高めることなく、これらの評判の悪いソースを検索アルゴリズムのトップに押し上げた理由を知ることは不可能です。

Hongと彼女の同僚は、高品質の健康情報を提供するテクノロジー企業と組織の間のパートナーシップは、音声アシスタントが正確な健康情報を提供することを保証するのに役立つかもしれないと言います。たとえば、2015年以降、Googleはメイヨークリニックと提携して、検索結果の上位に表示される健康情報の信頼性を向上させています。しかし、そのようなパートナーシップはすべての検索エンジンに適用されるわけではなく、Googleアシスタントの不透明なアルゴリズムは、Hongの研究におけるがん検診に関する不完全な情報を提供していました。

その音声アシスタントにしろ、得手不得手があり、それらの提供する情報を鵜呑みにしない方が良さそうです。

(via VB

Last Updated on 2022年7月19日 by M林檎

コメントを残す

メールアドレスが公開されることはありません。