Feedback loops र सुधार

Feedback signals

दुई श्रेणीहरू: explicit र implicit।

Explicit signals — प्रयोगकर्ताहरूले उद्देश्यमा तपाईंलाई भन्ने कुरा:

• Thumbs up / thumbs down।
• Star ratings (1-5)।
• एक “issue report गर्नुहोस्” button एक text field सँग।
• सिधा emails वा Slack सन्देशहरू।

Implicit signals — प्रयोगकर्ताहरूले तिनीहरूको व्यवहारद्वारा तपाईंलाई भन्ने कुरा:

• Session length र re-engagement rate।
• Rephrasing rate (प्रयोगकर्ताले फरक शब्दहरूमा फेरि सोध्यो = पहिलो जवाफ खराब थियो)।
• Copy-paste rate (प्रयोगकर्ताले जवाफ copy गर्यो = तिनीहरूले यसलाई प्रयोग गर्न पर्याप्त trust गर्थे)।
• Bounce rate (प्रयोगकर्ताले एक query पछि tab बन्द गर्यो = केही गलत थियो)।

दुबै उपयोगी छन्। Explicit सटीक तर low-volume; implicit high-volume तर noisy। दुबै collect गर्नुहोस्।

Thumbs — basic instrument

एकल सबैभन्दा उच्च-ROI feedback instrument थम्ब्स-अप/थम्ब्स-डाउन button हो। सानो, क्लिक गर्न सजिलो, actionable।

@app.post("/feedback")
def feedback(req: FeedbackRequest, user_id: str = Depends(get_current_user)):
    log_event("feedback",
              request_id=req.request_id,
              thumbs=req.thumbs,       # "up" or "down"
              comment=req.comment,     # optional
              user_id=user_id)
    return {"ok": True}

UI मा, हरेक AI-generated जवाफ सँगै buttons राख्नुहोस्। तिनीहरूलाई modal पछाडि gate नगर्नुहोस्। एक account आवश्यक नबनाउनुहोस् (यदि तपाईंले मद्दत गर्न सक्नुहुन्छ भने)।

thumbs-down मा एक optional comment field थप्नुहोस्। धेरैले यसलाई भर्नेछैनन्। भर्नेहरूले तपाईंलाई सुन दिन्छन्।

Feedback राम्रोसँग पढ्ने

thumbs-down को एक chunk अनुपयोगी छ यदि कसैले पढ्दैन भने। दिनचर्या:

Weekly review, 30 मिनेट।

टिममा एक व्यक्तिले पछिल्लो हप्ताको thumbs-down responses भर आधा घण्टा खर्च गर्दछ। हरेकको लागि:

1. Original query पढ्नुहोस्।
2. Retrieved documents हेर्नुहोस्।
3. मोडेलको जवाफ हेर्नुहोस्।
4. Failure लाई categorise गर्नुहोस्:
   • Retrieval ले गलत कागजात पायो।
   • Retrieval ले सही कागजात पायो तर मोडेलले यसलाई ignore गर्यो।
   • सही कागजात, सही जवाफ, प्रयोगकर्ता अझै दुःखी थियो (किन?)।
   • मोडेलले नगर्नुपर्ने बेला refuse गर्यो।
   • Prompt injection वा abuse।

Categorisation लाई एक simple spreadsheet मा log गर्नुहोस्। एक महिना पछि, patterns देखा पर्दछन्। यदि thumbs-down को 40% “retrieval ले गलत कागजात पायो” हो भने, तपाईंसँग retrieval समस्या छ। यदि 40% “सही तर tone गलत थियो” हो भने, तपाईंसँग prompt समस्या छ।

Batches मा fix गर्नुहोस्।

हरेक 2-4 हप्ता, top failure category लिनुहोस् र यसलाई fix गर्नुहोस्। Fix लाई A/B test पछाडि ship गर्नुहोस्। thumbs-down rate हेर्नुहोस्।

यो loop — collect, categorise, fix, measure — mechanism हो जसद्वारा AI उत्पादहरू वास्तवमै राम्रो हुन्छन्। यसलाई skip गर्नु भनेको सधैँ उही उत्पाद ship गर्नु हो, mediocre, तपाईंले कसरी सावधानीका साथ launch गर्नुभयो त्यसले फरक पार्दैन।

Slice-by-slice patterns

एकपटक तपाईंसँग केही हप्ता feedback भएपछि, यसलाई slice गर्नुहोस्:

• Language। नेपाली vs. अंग्रेजीमा thumbs-down rate। ठूला gaps ले language-specific quality समस्याहरू संकेत गर्दछन्।
• Time of day। केही समयमा thumbs-down बढी? Latency-driven हुन सक्दछ, वा usage-pattern-driven।
• User cohort। नयाँ प्रयोगकर्ता vs. फर्किने प्रयोगकर्ताहरूको thumbs-down rates फरक हुन्छ। किन जाँच गर्नुहोस्।
• Query category। Queries लाई categorise गर्नुहोस् (FAQ, complex, out-of-scope)। कुन category ले सबैभन्दा बढी complaints पाउँछ?

कहिलेकाहीँ pattern अप्रत्याशित हुन्छ — जस्तै “engineering-role queries को HR queries भन्दा 3× thumbs-down rate छ” — र retrieval वा coverage मा gap प्रकट गर्दछ।

Direct user reports सम्हाल्ने

जब एक प्रयोगकर्ताले email गर्दछ वा नराम्रो जवाफ बारे तपाईंलाई सन्देश दिन्छ, यसले personal follow-up को हकदार छ:

1. request_id look up गर्नुहोस्। आफ्नो logs बाट, ठ्याक्कै के भयो पुनर्निर्माण गर्नुहोस्।
2. 24 घण्टा भित्र जवाफ दिनुहोस्। “हामीले तपाईंको query हेर्यौं। यहाँ के भयो। यहाँ हामी के fix गर्दैछौं।”
3. Query eval set मा थप्नुहोस्। ताकि fix future regression विरुद्ध सुरक्षित छ।
4. Thank them। प्रयोगकर्ताहरू जसले bug report गर्न समय लिन्छन् तिनीहरूले तपाईंलाई उपहार दिइरहेका छन्। यसरी treat गर्नुहोस्।

यहाँ Response quality को outsized reputation प्रभाव छ। एक प्रयोगकर्ता जसले complain गर्यो र विचारशील reply पायो एक advocate बन्दछ। एक प्रयोगकर्ता जसले शून्यमा complain गर्यो पूर्व-प्रयोगकर्ता बन्दछ।

Feedback loop मा नेपाली प्रयोगकर्ता

नेपाली-भाषा feedback प्राय: मात्रामा पातलो तर signal मा अनुपातहीन रूपमा मूल्यवान हुन्छ:

• नेपालीमा feedback लेख्ने प्रयोगकर्ताहरू English-only प्रयोगकर्ताहरू भन्दा प्राय: अझ engaged हुन्छन्।
• तिनीहरूको pain points ले Nepal-specific issues (dialect coverage, cultural context, script normalisation) प्रकट गर्दछ जुन English-only testing ले छुटाउँथ्यो।
• नेपाली-भाषा complaints नेपाली-भाषा replies को हकदार छन् — एक सानो courtesy जसले response अनुभव लाई नाटकीय रूपमा सुधार गर्दछ।

तपाईंको feedback intake ले Devanagari input स्वीकार गर्दछ भन्ने सुनिश्चित गर्नुहोस्। तपाईंको reply flow ले Devanagari back पठाउन सक्दछ भन्ने सुनिश्चित गर्नुहोस्। यी साना technical details प्राय: Nepal-facing परियोजनाहरूमा surprisingly overlooked हुन्छन्।

Retention lens

Thumbs lightweight छन्। गहिरो feedback signal के प्रयोगकर्ताहरू फर्किन्छन्।

हरेक प्रयोगकर्ताको लागि track गर्नुहोस्:

• पहिलो प्रयोग देखिको दिनहरू।
• कुल sessions।
• Sessions प्रति हप्ता।
• Repeat प्रयोगमा समय।

यदि प्रयोगकर्ताले उत्पाद एकपटक प्रयास गर्दछन् र कहिल्यै फर्किँदैनन् भने, पहिलो प्रयासमा केही गलत थियो — तिनीहरूले explicit feedback कहिल्यै छोडेनन् भने पनि। “one-visit” vs. “returning” द्वारा प्रयोगकर्ताहरूलाई bucketing र तिनीहरूको queries हेर्दै implicit dissatisfaction प्रकट गर्दछ।

Nepal-facing bot को लागि, English speakers बाट अलग नेपाली speakers बीच retention हेर्नुहोस्। फरक retention curves ले फरक audience अनुभवहरू प्रकट गर्दछन्।

सुधार backlog

सबै feedback, सबै failure categories, सबै reported bugs — तिनीहरू एक backlog मा जान्दछन्। Backlog का तीन columns छन्:

Frequency  |  Difficulty  |  Fix idea
   40%     |    Low       |  Improve chunk boundaries in HR policy PDFs
   25%     |    Medium    |  Add a retrieval reranker
   15%     |    High      |  Retrain the embedding model on Nepal-specific data
   10%     |    Low       |  Fix the "I don't know" over-refusal on ambiguous queries
   10%     |    Medium    |  Tone adjustment for Nepali replies

अपेक्षित impact (frequency × severity) लाई कठिनाइद्वारा भाग गरेर sort गर्नुहोस्। शीर्ष-तल काम गर्नुहोस्। सम्भव भएमा A/B test पछाडि एक पटकमा एक सुधार ship गर्नुहोस्। thumbs-down rate मा प्रभाव मापन गर्नुहोस्।

यो अनुसन्धान योजना होइन। यो एउटा सानो ordered list हो जुन टीमले महिनौं मा execute गर्दछ।

Virtuous loop

जब यो काम गर्दैछ, loop यस्तो देखिन्छ:

Users interact
   ↓
Feedback (thumbs, comments, behaviour)
   ↓
Weekly review, categorise failures
   ↓
Prioritise fixes
   ↓
A/B test the fix
   ↓
Ship if metrics improve
   ↓
Users interact with the better version
   ↓
(loop)

Loop को हरेक rotation ले उत्पादलाई मापन योग्य रूपमा राम्रो बनाउँछ। हरेक skipped हप्ता उत्पादको भविष्यमा एक compounding tax हो। स्थायी AI उत्पादहरू ship गर्ने टिमहरू ती हुन् जुन यो loop लाई sacred मान्दछन्, महान launch ship गरेर आशा नगर्नेहरू होइनन्।

अब के आउँछ

तपाईंसँग feedback loop छ। तर तपाईंले ship गर्ने हरेक परिवर्तन real प्रयोगकर्ताहरू सँगको real, चलिरहेको प्रणालीमा परिवर्तन पनि हो। Chapter 5 सुरक्षित रूपमा परिवर्तनहरूलाई roll out गर्ने discipline बारे हो — prompts, models, र data versioning; staging मा testing; जब केही टुट्छ rolling back; र model provider आफै तपाईंको मुनि परिवर्तन गर्ने विशेष failures वर्ग सम्हाल्ने।