Mengapa pencarian AI Anda mungkin melewatkan jawaban yang jelas (dan bagaimana RRF memperbaikinya)

Ketika AI Anda berkata "tidak ditemukan informasi yang relevan" padahal jawabannya ada di pesan Anda, masalahnya bukan AI — tapi bagaimana pencarian hibrida menggabungkan metode perankingan yang berbeda.

Baru-baru ini kami menemukan bug yang membingungkan yang mengilustrasikan dengan sempurna mengapa sistem pencarian hibrida bisa gagal dengan cara yang sangat jelas. Seorang pengguna mengajukan pertanyaan sederhana ke asisten AI-nya, dan meskipun jawaban persisnya ada di riwayat chat, AI dengan percaya diri menyatakan bahwa informasi tersebut tidak ada.

Akar masalah: Ketidakcocokan skala skor

Sistem kami menggunakan pencarian hibrida — menggabungkan dua metode pencarian berbeda untuk mendapatkan yang terbaik dari keduanya:

• Pencarian Vektor (Semantik): Memahami makna dan konteks. Ideal untuk "temukan pesan tentang ketentuan kontrak" meskipun kata "kontrak" tidak digunakan.
• BM25 (Kata Kunci): Pencocokan teks klasik. Sempurna untuk menemukan frasa persis seperti "1 Februari" atau nama spesifik.

Masalahnya? Metode-metode ini menggunakan skala skor yang sama sekali berbeda:

Ketika pengguna bertanya "Tanggal berapa yang harus saya cantumkan di perjanjian?", BM25 menemukan pesan "1 Februari" dengan benar di peringkat #1 (mencocokkan kata kunci yang tepat). Tapi pencarian vektor menempatkannya di peringkat #47 karena secara semantik, membahas tanggal tidak terkait kuat dengan diskusi umum tentang "perjanjian".

Karena kami mengurutkan berdasarkan skor mentah, 0.65 dari Vektor mengalahkan 0.016 dari BM25 setiap saat. Jawaban yang benar terkubur di posisi #47, dan hanya 10 hasil teratas yang dikirim ke AI.

Solusinya: Reciprocal Rank Fusion (RRF)

Solusinya elegan: alih-alih membandingkan skor mentah, bandingkan peringkat. Ini disebut Reciprocal Rank Fusion (RRF), dan formulanya sangat sederhana:

Mengapa ini berhasil: Berada di peringkat #1 di metode pencarian mana pun berkontribusi sama terhadap skor akhir. Konstanta 60 (disebut "k") meredam efek peringkat yang lebih rendah sehingga #1 secara signifikan lebih baik dari #2, tapi #47 tidak jauh berbeda dari #48.

Bagaimana RRF menghitung skor akhir

Mari ikuti perhitungannya untuk pesan "1 Februari":

Bandingkan dengan pesan "Eksklusivitas di Nigeria" yang sebelumnya berada di #1:

Pesan yang berada di #1 di satu metode pencarian (0.0257) sekarang mengalahkan pesan yang berada di #1 di satu metode pencarian tetapi tidak muncul di metode lainnya (0.0164). Adil.

Poin pentingnya

"RRF tidak peduli dengan skor mentah. Yang penting hanya urutan. Berada di peringkat #1 di pencarian kata kunci memiliki bobot yang sama dengan berada di peringkat #1 di pencarian semantik. Hasil yang ditemukan oleh kedua metode mendapat peringkat lebih tinggi."

Apa yang terjadi ketika hasil hanya muncul di satu pencarian?

Untuk metode pencarian di mana hasil tidak muncul, kami memberikan "peringkat maksimum" (jumlah total hasil + 1). Ini berarti:

• Hasil di kedua pencarian: Mendapat kontribusi dari keduanya, peringkat lebih tinggi
• Hasil di satu pencarian: Mendapat kontribusi dari satu, ditambah kontribusi minimal dari yang lain
• Seri dari metode yang sama: Diputuskan oleh peringkat mereka di metode lain

Ini menangani dengan elegan kasus di mana pencarian semantik menemukan pesan yang secara konseptual terkait yang terlewat oleh pencarian kata kunci (dan sebaliknya).

Detail implementasi

Perubahan kodenya langsung. Alih-alih:

// LAMA: Urutkan berdasarkan skor mentah (rusak)
results.sort((a, b) => b.score - a.score);

Sekarang kami melakukan:

// BARU: Hitung skor RRF dari peringkat
const RRF_K = 60;
const vectorRank = vectorRanks.get(id) ?? maxRank;
const bm25Rank = bm25Ranks.get(id) ?? maxRank;
const rrfScore = 1/(RRF_K + vectorRank) + 1/(RRF_K + bm25Rank);

// Urutkan berdasarkan skor RRF
results.sort((a, b) => b.rrfScore - a.rrfScore);

Mengapa ini penting untuk pencarian AI

Sistem pencarian modern sering menggabungkan beberapa metode retrieval:

• Embedding vektor untuk pemahaman semantik
• BM25/TF-IDF untuk pencocokan kata kunci yang tepat
• Retrieval berbasis graf untuk pencarian yang sadar hubungan
• Sinyal temporal untuk kebaruan

Setiap metode memiliki distribusi skor yang berbeda. RRF menyediakan cara yang solid untuk menggabungkan mereka tanpa perlu menormalisasi skor atau menyetel skema pembobotan yang kompleks.

"Keindahan RRF adalah kesederhanaannya. Tanpa penyetelan hyperparameter selain nilai k (60 bekerja baik dalam praktik). Tanpa normalisasi skor. Hanya peringkat dan sebuah formula."

Hasilnya

Setelah mengimplementasikan RRF, kueri yang sama "Tanggal berapa yang harus saya cantumkan di perjanjian?" sekarang dengan benar mengambil pesan "1 Februari" di bagian atas hasil. AI menemukan jawabannya dengan segera.

Kesimpulan utama

• Jangan bandingkan skor mentah antar metode pencarian yang berbeda — mereka berada di skala yang berbeda
• RRF mengubah skor menjadi peringkat, membuat perbandingan yang adil menjadi mungkin
• Konstanta k=60 sudah mapan dalam penelitian dan berfungsi di sebagian besar kasus
• Hasil di beberapa metode pencarian secara alami mendapat peringkat lebih tinggi — yang umumnya benar

Terkadang solusi untuk perilaku AI yang membingungkan bukan ada di AI-nya sendiri — tapi di cara Anda memberikan informasi kepadanya.