dackdive's blog

新米webエンジニアによる技術ブログ。JavaScript(React), Salesforce, Python など

「ヘルプセンターを支える技術 ── 生成AI時代の自己解決エンジニアリング」に参加したメモ

行ってきた。

メルカリのヘルプセンター内製化:自己解決率向上とCPT削減への挑戦

(ちょっと遅れて参加)

  • CSディビジョンが目指すこと
    • Effortless Customer Experience
    • 問い合わせること
    • JR CS Engineering
      • Help Center ← 登壇者はここに所属
      • Contact Center
  • Help Center Teamが追い求める指標
    • 自己解決率
      • CPT (Contact Per Transaction) 問い合わせ数
      • 取引数を分母にして割ることで、ユーザー増加しても一定の数値にする
    • AHT (Average Handling Time) 🤔定義聞き逃した
      • 想定ガイド閲覧率
  • Help Center大幅リニューアル (2022年)
    • アプリやWebそれぞれに問い合わせフォームがあり、それぞれの開発チームがオーナーだった
    • ガイドごとに、それにひもづいたフォーム
  • Skill Base Routing
    • フォームごとにtypeが設定されてる
    • Primary Queue
      • SkillごとにQueueが建てられ、入信順にお問い合わせが並ぶ
    • Site Queue
      • Skill A はコンタクトセンターAに40%、Bに40%、…となるよう差配される
    • 🤔Skillとはコンタクトセンターの人員の能力?
  • 内製化の利点1:Data Drivenな改善サイクル
    • A/Bテストの共通プラットフォームがある
  • 内製化の利点2:Personalization
    • 問い合わせ前に購入した商品を選ばせる。そのためにメルカリのAPIと連携する
  • Help Center Platforming
    • 課題:新規ビジネスを立ち上げるたびにHelp Centerを作っている
    • 今後:内製Help CenterをPlatf

自己解決を支える検索技術と改善サイクル

Helpfeel CTO akiroom

  • Helpfeelのアルゴリズム「意図展開」
    • 登山のメタファー
    • 例:商品の返品方法 というゴールに対し、入口(登山道)はさまざま
  • 伊予銀行の事例「ハンコ なくしちゃった」
  • 曖昧検索
    • asearch
      • タイポなどを吸収
    • 意図予測検索2
      • 意図展開したデータを元にベクトル検索
      • ユーザーの話し言葉に近い文章
      • OpenAI と Qdrant
    • インクリメンタル検索をフロントエンドだけで完結する。メインスレッドをブロックしないようWeb Workerを使う
    • 400件のFAQに対し20000件ぐらいの質問文
      • 400KBぐらいしかない
  • 本当に役立つFAQ検索システムを目指して - Nota TechConf
  • 顧客体験向上のキーは「必要な情報に・正しく到達」すること(コールセンター白書より)
  • FAQは重要なユーザータッチポイント
    • 検索性の問題と、コンテンツの問題
  • 検索ヒット率の改善サイクル
    • みるべきKPI ←←大事なポイントだったのに書けなかった!

どこに何の問題があるだろう? HWからSWまでの全領域を横断した最速解決を支援する生成AI活用

佐々木 了 @gzock / 株式会社ビットキー テックリード

  • スマートロックの会社。ただそれだけじゃない
  • ビットキーにおけるAI活用
    • プロダクトへの組み込みと、社内での利用。今回のメインは後者
  • 日々現場で発生するトラブル対応の自己解決支援にAIを活用している
  • 課題:領域を横断するトラブル対応の難しさ
    • toC領域はなんとかなる
    • toB向けはカスタマーサクセス部隊の担当者へ直接つながる
    • →とんでもない脳内辞書を持った職人が生まれる
  • 解決:職人芸のAI化
    • ナレッジのデータベースが作られはじめていた
    • それを材料にSlackボットを作成
    • 結果を👍👎で評価
    • 開発側では、質問と応答と評価を後で見て色々チューニング
    • 最初はVertex AIベース→性能よくないのでAWS Bedrock→Gemini 1.5 Proが最も精度が高い
  • ビットキーはマルチクラウド
  • 生成AIの精度を上げるためにも、そもそものデータをどう集めるか?どうフィードバックして改善するか?が大事
  • それっぽいものは簡単につくれる
    • が、現場での質問は開発側の想定を軽々と超えてくる
    • 巻き込み力が必要不可欠
  • まずはスコープ絞って、それに特化したデータを集めつつ、試行錯誤するのがオススメ
    • 汎用性を持たせようとすると泥沼にハマっていく

パネルディスカッション

メルカリ濱村 甚平さん

メ)メルカリ、ビ)ビットキー、H)Helpfeel

Q1. CSチームとの目線合わせや連携をどうやってますか?

  • メ)CS組織がでかい。普段どんな問い合わせが多いのか、などを取りまとめてくれるプログラムマネージャーがいて、その方が開発側のデイリーに参加している
    • いわゆるスクラムっぽく回している?
    • YES。PdMもいるが、僕らのユーザーは社内にいるので、カウンターパートという存在
  • ビ)しょっちゅうそのへんでCSの人たちと話している。エンジニアの人と話すより多いかも。愚直に人間同士のコミュニケーション
  • H)FAQのプラットフォームを作っており、当社のCSがお客様とのMTGを行っている。そこで具体的な検索クエリを見てる。CSは顧客とかなり仲良くなっている

Q2. 生成AI使ってぶっちゃけどう?上手くいってる?

  • メ)道半ば。正式に採用されてないがテストはしてる。一部問い合わせに使ってみたり
  • H)検索にそこまで深く使うということはしていない。生成AIを検索に使おうとするとRAGになるが、結局裏に検索エンジン使ってるので検索エンジンに注力
    • 無限にスケールできる頭脳ができたとみなしている。周辺領域で使ってる。雑に書いた文章から記事化する、とか(お客様が機能として使ってる)
  • ビ)同意。本当にtoC向けで表に出すのはリスキー。発表内容の事例がうまくいってるのは人間が介在しているから

Q3. ヘルプセンターを主務としている方々の今後のキャリアはどうすべき?

  • ビ)ヘルプセンターに限った話ではなく、変化についていけるかどうかだと思う。エンジニアもそうだが、本当に単純な、領域絞ったことに対してはけっこうな精度で返してくれるが、それで専門職としての仕事が完全に奪われるとは思わない。むしろ武器として使っていける人が強い