Quality in Low-Resource Language Processing and Idiomatic Expressions

Quality in Low-Resource Language Processing and Idiomatic Expressions:

New Research Paths for Culturally Bound Expressions and Domain-Specific Performance in African and Indian Languages

Author: Wanitcha Sumanat, president of the Southeast Asian Association of Professional Translators and Interpreters

14 August 2025, Bangkok – Over the past decade, natural language processing (NLP) has made significant advances in high-resource languages such as English, Chinese, and Spanish. However, low-resource languages—particularly African and Indian languages—continue to face persistent quality challenges in translation accuracy, semantic interpretation, and the understanding of culturally bound expressions. This paper explores new research pathways to enhance performance in these languages, with particular emphasis on domain-specific contexts such as law, medicine, and education.

Introduction
Although large language models (LLMs) have demonstrated remarkable progress in translation and natural language understanding, there remains a substantial quality gap between high-resource and low-resource languages (Joshi et al., 2020). A key challenge lies in the scarcity of parallel corpora and adequate cultural annotation data, which results in high error rates when conveying idioms or culturally specific terms.

Challenges of Culturally Bound Expressions
Culturally bound expressions are linguistic elements whose meanings are deeply rooted in a community’s history, beliefs, and ways of life. For instance, idioms in Swahili often originate from fishing culture, while idioms in Tamil are linked to agricultural traditions. Without understanding the relevant cultural context, translations or computational processing can misrepresent the intended meaning or cause socio-communicative misunderstandings (Nida, 1964).

Domain-Specific Performance in Low-Resource Languages
In many cases, language models perform less effectively in domain-specific contexts—such as legal or medical terminology in Yoruba or Marathi—because of limited training data in those domains. Domain-specific fine-tuning and collaboration with native-speaking subject-matter experts are therefore crucial for improving accuracy (Goyal et al., 2022).

New Research Directions

• Future research in this area could focus on:
• Developing idiom and context-rich cultural expression databases in collaboration with native speaker communities.
• Applying transfer learning techniques from structurally similar languages to low-resource ones.
• Hybrid quality evaluation methods combining automated metrics (e.g., BLEU, COMET) with human evaluation by culturally knowledgeable reviewers.
• Integrating interdisciplinary knowledge such as linguistic anthropology to better understand and convey idiomatic meaning.

Conclusion
Enhancing NLP quality for low-resource languages, especially in African and Indian contexts, cannot be achieved solely by adding more data. A deep understanding of the culture and social context is equally important. Developing tools and models that grasp both the structural and deep semantic dimensions of idiomatic expressions is an essential step toward achieving linguistic technology equity across regions.

References

• Goyal, N., Dalmia, S., Khanuja, S., Sharma, A., Raghavan, S., Kumar, S., … & Chaudhary, V. (2022). FLORES-101: Evaluating massively multilingual machine translation. Transactions of the Association for Computational Linguistics, 10, 522–538. https://doi.org/10.1162/tacl_a_00474
• Joshi, P., Santy, S., Budhiraja, A., Bali, K., & Choudhury, M. (2020). The state and fate of linguistic diversity and inclusion in the NLP world. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 6282–6293. https://doi.org/10.18653/v1/2020.acl-main.560
• Nida, E. A. (1964). Toward a science of translating: With special reference to principles and procedures involved in Bible translating. Leiden: E. J. Brill. 

About Certified Translators, Translation Certification Providers, and Certified Interpreters of SEAProTI
The Southeast Asian Association of Professional Translators and Interpreters (SEAProTI) has published the criteria and qualifications for registering as “Certified Translators,” “Translation Certification Providers,” and “Certified Interpreters” of the Association under Sections 9 and 10 of the Royal Gazette, Secretariat of the Cabinet, Prime Minister’s Office, Kingdom of Thailand, dated 25 July 2024, Vol. 141, Part 66 Ng, p. 100. Full text available at: The Royal Thai Government Gazette 
SEAProTI is the first professional association in Thailand and Southeast Asia with a formal certification system for Certified Translators, Translation Certification Providers, and Certified Interpreters.
Head Office: Baan Ratchakhru Building, No. 33, Room 402, Soi Phahonyothin 5, Phahonyothin Road, Phaya Thai Subdistrict, Phaya Thai District, Bangkok 10400, Thailand. Email: hello@seaproti.com Tel: (+66) 2-114-3128 (Office hours: Mon–Fri, 9:00–17:00)

คุณภาพการประมวลผลภาษาสำหรับภาษาทรัพยากรต่ำและสำนวนเฉพาะ:

แนวทางวิจัยใหม่เพื่อจัดการกับสำนวนผูกพันทางวัฒนธรรมและสมรรถนะเชิงสาขาในภาษาแอฟริกันและภาษาอินเดีย

ผู้เขียน วณิชชา สุมานัส นายกสมาคมวิชาชีพนักแปลและล่ามแห่งเอเชียตะวันออกเฉียงใต้ 

14 สิงหาคม 2568, กรุงเทพมหานคร – ในช่วงทศวรรษที่ผ่านมา การพัฒนาเทคโนโลยีประมวลผลภาษาธรรมชาติ (Natural Language Processing: NLP) ได้ก้าวหน้าอย่างมากในภาษาที่มีทรัพยากรข้อมูลสูง เช่น ภาษาอังกฤษ ภาษาจีน และภาษาสเปน อย่างไรก็ตาม ภาษาทรัพยากรต่ำ (low-resource languages) โดยเฉพาะในกลุ่มภาษาแอฟริกันและภาษาอินเดีย ยังคงเผชิญปัญหาด้านคุณภาพการประมวลผล ทั้งในด้านความถูกต้องของการแปล การรู้จำความหมาย และความเข้าใจสำนวนผูกพันทางวัฒนธรรม (culturally bound expressions) บทความนี้มุ่งสำรวจเส้นทางการวิจัยใหม่เพื่อยกระดับสมรรถนะการประมวลผลภาษาดังกล่าว โดยเฉพาะอย่างยิ่งในบริบทเชิงสาขา (domain-specific performance) เช่น กฎหมาย การแพทย์ และการศึกษา

• งานวิจัยในอนาคตสามารถมุ่งไปในทิศทางดังนี้
• การสร้างคลังข้อมูลสำนวนท้องถิ่นและคำอธิบายบริบท โดยใช้การทำงานร่วมกับชุมชนเจ้าของภาษา
• การใช้เทคนิคการเรียนรู้แบบถ่ายโอน (transfer learning) จากภาษาที่มีความคล้ายทางโครงสร้างไปยังภาษาทรัพยากรต่ำ
• การประเมินคุณภาพแบบผสมผสาน ที่รวมการวัดเชิงอัตโนมัติ (เช่น BLEU, COMET) กับการประเมินโดยมนุษย์ที่มีความรู้วัฒนธรรม
• การบูรณาการความรู้สหสาขา เช่น มานุษยวิทยาภาษา และภาษาศาสตร์เชิงมานุษยวิทยา เพื่อทำความเข้าใจและถ่ายทอดสำนวน

• Goyal, N., Dalmia, S., Khanuja, S., Sharma, A., Raghavan, S., Kumar, S., … & Chaudhary, V. (2022). FLORES-101: Evaluating massively multilingual machine translation. Transactions of the Association for Computational Linguistics, 10, 522–538. https://doi.org/10.1162/tacl_a_00474
• Joshi, P., Santy, S., Budhiraja, A., Bali, K., & Choudhury, M. (2020). The state and fate of linguistic diversity and inclusion in the NLP world. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 6282–6293. https://doi.org/10.18653/v1/2020.acl-main.560
• Nida, E. A. (1964). Toward a science of translating: With special reference to principles and procedures involved in Bible translating. Leiden: E. J. Brill.