「ヘルプセンターを支える技術 ── 生成AI時代の自己解決エンジニアリング」に参加したメモ

行ってきた。

メルカリのヘルプセンター内製化：自己解決率向上とCPT削減への挑戦

（ちょっと遅れて参加）

CSディビジョンが目指すこと
- Effortless Customer Experience
- 問い合わせること
- JR CS Engineering
  - Help Center ← 登壇者はここに所属
  - Contact Center
  - …
Help Center Teamが追い求める指標
- 自己解決率
  - CPT (Contact Per Transaction) 問い合わせ数
  - 取引数を分母にして割ることで、ユーザー増加しても一定の数値にする
- AHT (Average Handling Time) 🤔定義聞き逃した
  - 想定ガイド閲覧率
Help Center大幅リニューアル (2022年)
- アプリやWebそれぞれに問い合わせフォームがあり、それぞれの開発チームがオーナーだった
- ガイドごとに、それにひもづいたフォーム
Skill Base Routing
- フォームごとにtypeが設定されてる
- Primary Queue
  - SkillごとにQueueが建てられ、入信順にお問い合わせが並ぶ
- Site Queue
  - Skill A はコンタクトセンターAに40％、Bに40％、…となるよう差配される
- 🤔Skillとはコンタクトセンターの人員の能力？
内製化の利点1：Data Drivenな改善サイクル
- A/Bテストの共通プラットフォームがある
内製化の利点2：Personalization
- 問い合わせ前に購入した商品を選ばせる。そのためにメルカリのAPIと連携する
Help Center Platforming
- 課題：新規ビジネスを立ち上げるたびにHelp Centerを作っている
- 今後：内製Help CenterをPlatf

自己解決を支える検索技術と改善サイクル

Helpfeel CTO akiroom

Helpfeelのアルゴリズム「意図展開」
- 登山のメタファー
- 例：商品の返品方法　というゴールに対し、入口（登山道）はさまざま
伊予銀行の事例「ハンコ　なくしちゃった」
曖昧検索
- asearch
  - タイポなどを吸収
- 意図予測検索2
  - 意図展開したデータを元にベクトル検索
  - ユーザーの話し言葉に近い文章
  - OpenAI と Qdrant
- インクリメンタル検索をフロントエンドだけで完結する。メインスレッドをブロックしないようWeb Workerを使う
- 400件のFAQに対し20000件ぐらいの質問文
  - 400KBぐらいしかない
本当に役立つFAQ検索システムを目指して - Nota TechConf
顧客体験向上のキーは「必要な情報に・正しく到達」すること（コールセンター白書より）
FAQは重要なユーザータッチポイント
- 検索性の問題と、コンテンツの問題
検索ヒット率の改善サイクル
- みるべきKPI　←←大事なポイントだったのに書けなかった！

どこに何の問題があるだろう？ HWからSWまでの全領域を横断した最速解決を支援する生成AI活用

佐々木了 @gzock / 株式会社ビットキーテックリード

スマートロックの会社。ただそれだけじゃない
ビットキーにおけるAI活用
- プロダクトへの組み込みと、社内での利用。今回のメインは後者
日々現場で発生するトラブル対応の自己解決支援にAIを活用している
課題：領域を横断するトラブル対応の難しさ
- toC領域はなんとかなる
- toB向けはカスタマーサクセス部隊の担当者へ直接つながる
  - HWデバイスの種類が多く、環境やユースケースが違いすぎる
  - HWデバイス、FWのバージョン、スマホアプリのバージョン、製造ロット、外的要因、etc.
- →とんでもない脳内辞書を持った職人が生まれる
解決：職人芸のAI化
- ナレッジのデータベースが作られはじめていた
- それを材料にSlackボットを作成
- 結果を👍👎で評価
- 開発側では、質問と応答と評価を後で見て色々チューニング
- 最初はVertex AIベース→性能よくないのでAWS Bedrock→Gemini 1.5 Proが最も精度が高い
ビットキーはマルチクラウド
生成AIの精度を上げるためにも、そもそものデータをどう集めるか？どうフィードバックして改善するか？が大事
それっぽいものは簡単につくれる
- が、現場での質問は開発側の想定を軽々と超えてくる
- 巻き込み力が必要不可欠
まずはスコープ絞って、それに特化したデータを集めつつ、試行錯誤するのがオススメ
- 汎用性を持たせようとすると泥沼にハマっていく

パネルディスカッション

メルカリ濱村甚平さん

メ）メルカリ、ビ）ビットキー、H）Helpfeel

Q1. CSチームとの目線合わせや連携をどうやってますか？

メ）CS組織がでかい。普段どんな問い合わせが多いのか、などを取りまとめてくれるプログラムマネージャーがいて、その方が開発側のデイリーに参加している
- いわゆるスクラムっぽく回している？
- YES。PdMもいるが、僕らのユーザーは社内にいるので、カウンターパートという存在
ビ）しょっちゅうそのへんでCSの人たちと話している。エンジニアの人と話すより多いかも。愚直に人間同士のコミュニケーション
H）FAQのプラットフォームを作っており、当社のCSがお客様とのMTGを行っている。そこで具体的な検索クエリを見てる。CSは顧客とかなり仲良くなっている

Q2. 生成AI使ってぶっちゃけどう？上手くいってる？

メ）道半ば。正式に採用されてないがテストはしてる。一部問い合わせに使ってみたり
- CtoCのマーケットプレイスを提供しているからこそ、お困りごとが複雑になりがち
H）検索にそこまで深く使うということはしていない。生成AIを検索に使おうとするとRAGになるが、結局裏に検索エンジン使ってるので検索エンジンに注力
- 無限にスケールできる頭脳ができたとみなしている。周辺領域で使ってる。雑に書いた文章から記事化する、とか（お客様が機能として使ってる）
ビ）同意。本当にtoC向けで表に出すのはリスキー。発表内容の事例がうまくいってるのは人間が介在しているから