Amharic Text Embedding Models
Collection
Text Embedding and ColBERT models based on Amharic RoBERTa and BERT for Amharic passage retrieval ⢠10 items ⢠Updated ⢠6
RoBERTa Amharic Text Embedding Medium
This is a sentence-transformers model finetuned from rasyosef/roberta-medium-amharic on the amharic-passage-retrieval-dataset dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
Training Code
This model was trained as part of our ACL 2025 Findings paper: Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval.
- Models Collection: https://huggingface.co/collections/rasyosef/amharic-text-embedding-models-679cb55eae1d498e3ac5bdc5
- Code: https://github.com/kidist-amde/amharic-ir-benchmarks
- Paper: https://arxiv.org/abs/2505.19356
Model Details
Model Description
- Model Type: Sentence Transformer
- Base model: rasyosef/roberta-medium-amharic
- Maximum Sequence Length: 510 tokens
- Output Dimensionality: 512 dimensions
- Similarity Function: Cosine Similarity
- Training Dataset:
- Language: am
- License: apache-2.0
Model Sources
- Documentation: Sentence Transformers Documentation
- Repository: Sentence Transformers on GitHub
- Hugging Face: Sentence Transformers on Hugging Face
Full Model Architecture
SentenceTransformer(
(0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 512, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
Usage
Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the đ¤ Hub
model = SentenceTransformer("rasyosef/roberta-amharic-text-embedding-medium")
# Run inference
sentences = [
"á¨á°á°áááá á¨ááŹáľ ááááĽááĽá á¨áĽáłá° áá፠ááááľ á á áá ááá",
"á á ááąá á¨á°á á¨ááá ááľáá á´áľ á°ááŞáá˝ á¨ááἠááá áľ áá á á°áŤáŤá áááἠá¨áľáá
ááľ áá áł áá ááá áĽáá°ááá á¨áľááŤá áĽáľááá ááłáŽá˝ áááá¤áľ áľáłááᢠáá
á ááááłáľ á¨ááá áľáá
ááľ á˘áŽ áá áááá áá áááá á¨ááá áĽáľááá ááłáŽá˝ áááá¤áľ ááśáźáŹá áááżáá˘",
"á ááá¨áá á˘áľáŽáľáŤ ááá ááľáŤ áá áᤠáá¨áł á ááá 12 áá ááá˝ áá á¨áłá á¨ááááĽáľ á áááááľ ááľáŤ á°áááľ á ááá á á¨áá á ááááłá¸á áá¸ááŤá¸áá áááŞáá˝ á ááá¨áąá˘ á¨áŁááá áááľ ááᎠá¨á¤áᣠá¨áľáá
ááľ áĽá á¨ááĽá á á°áŁá°áĽ áĽáŤáá˝ á á¨á áŤáŁá˘áŤá¸á áĽá¨á°á¨ááá á ááááá¸ááá ááśáź áŹá á°ááá¨ááá˘",
"á¨ááἠá°ááŤáŽá˝ ááá á¤áľ á áŁá áĽá á¨áá áŽáá´ á°áĽáłá˘ á¨áá áŠáľ á áś áááľá˛áŤá áłá°á áĽá á¨á á፠ááá ááá á¤áľ á áŁá á¨áááľ á áś áŽáááľ á§áŤáá á¨ááᲠáá° áááጠáá¨á፠á¤áľ ááááŤá¸áá á á áá¸á á°áááŠá˘",
"á¨á°á°ááá ááŹáľ ááááĽáἠá áá á áá ááá áĽáłáľ á¨ááŹáľ ááľáĽ á˛áá áłááˇááĄáĄ á¨ááŹáľ ááľáĽ áĽáłáľá ááľ á¨áá°áá áĽááááą áᏠáááłáá 11 á°ááľ ááľá á¨á¨áŁáľ áááłáł á ááá¨á°áľá°áá áááá á¨á á¨áŁá˘á áááŞáá˝ áĽá áŁááľááŁááľ ááśáź áŹá á°ááá¨áááĄáĄ á ááľ á¨ááŤáááĽá áĽáłáľ áá á¨á°áŁáá áĽááááą á ááá áá˘á¨áą (áá 03) áąááť áá¨áł á°áááś áá á áá¨á°áąá á¨ááášáľ á¨á á¨áŁá˘á á¨á áá áĽááá˝ á¨ááá áááłáł á á°á¨á᪠á ááŞáŤá á°á¨á᪠áááłáłáá˝ ááłá¨áľ ááĽáá áŁá áá¸ááĄáĄ"
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [5, 512]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [5, 5]
Evaluation
Click to expand
Metrics
Information Retrieval
- Dataset:
dim_512 - Evaluated with
InformationRetrievalEvaluatorwith these parameters:{ "truncate_dim": 512 }
| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.6585 |
| cosine_accuracy@3 | 0.7915 |
| cosine_accuracy@5 | 0.8378 |
| cosine_accuracy@10 | 0.8841 |
| cosine_precision@1 | 0.6585 |
| cosine_precision@3 | 0.2638 |
| cosine_precision@5 | 0.1676 |
| cosine_precision@10 | 0.0884 |
| cosine_recall@1 | 0.6585 |
| cosine_recall@3 | 0.7915 |
| cosine_recall@5 | 0.8378 |
| cosine_recall@10 | 0.8841 |
| cosine_ndcg@10 | 0.7713 |
| cosine_mrr@10 | 0.7352 |
| cosine_map@100 | 0.7391 |
Information Retrieval
- Dataset:
dim_256 - Evaluated with
InformationRetrievalEvaluatorwith these parameters:{ "truncate_dim": 256 }
| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.6506 |
| cosine_accuracy@3 | 0.7886 |
| cosine_accuracy@5 | 0.8356 |
| cosine_accuracy@10 | 0.8808 |
| cosine_precision@1 | 0.6506 |
| cosine_precision@3 | 0.2629 |
| cosine_precision@5 | 0.1671 |
| cosine_precision@10 | 0.0881 |
| cosine_recall@1 | 0.6506 |
| cosine_recall@3 | 0.7886 |
| cosine_recall@5 | 0.8356 |
| cosine_recall@10 | 0.8808 |
| cosine_ndcg@10 | 0.7663 |
| cosine_mrr@10 | 0.7296 |
| cosine_map@100 | 0.7336 |
Training Details
Click to expand
Training Dataset
amharic-news-retrieval-dataset
- Dataset: amharic-passage-retrieval-dataset at 3ef7092
- Size: 40,237 training samples
- Columns:
anchorandpositive - Approximate statistics based on the first 1000 samples:
anchor positive type string string details - min: 5 tokens
- mean: 14.69 tokens
- max: 45 tokens
- min: 45 tokens
- mean: 293.39 tokens
- max: 510 tokens
- Samples:
anchor positive áááľáľá á´á¤áł áááᎠá áá-ááá á¨á áᣠááá ááľááłáá á¨áŽáŞáľ-19 áááá ááá¨áá áá áá á˛áľ á á áŁáŁ ááľá¨á¨á 13ᣠ2013 (á¤á.á˘.á˛) á¨á¤á áááľá´á áááľáľá á´á¤áł áááᎠá ááááá áłáááľ á á°áĄáĽ ááá áá áá á¨á áᣠááá á¨á°á ááľááłá áĽá á¤á áŁá˘áŤ ááĽááĄáĄáĽáá˛áá á áŽáŞáľ-19 á¨á ááá ááá¨á á°ááá°á áŤááá á¨áľáŤ áĽáá áľáá´ áááá¨áłá¸áá á°ááá¸ááĄáĄáááľáľá á´á¤áłá á ááĽááą áá áľ á¨á ááá á°áááą áá áŤáŁá˘ áááŞáá˝ áĽá¨á°áĄ áŤááá ááá áĽá á áááááľ áĽá ááŽáŞáľ 19 áá¨áá˝á á¨áá¨áá¨áá á¨áááŁá á ááá˝ á á áŁáĽ á¨áá á¨áłáłá áá¤áłá áĽáá°áá á°ááá¨áááĄáĄá áá á áááá¨á á°áŤá°áá˝ ááľááá¸áá á á áá áááĄáĄá¨á°áááą áľáŤ ááááá˝á á¨áááľáľá á´á¤áłá áá áááŤá¨áłá¸á á°á°ááˇááĄáĄáááááš á áááááłá¸áá á á°áá ááááľ áááľáŤáľ á áŤáľá˝ááá áŤáá¸áá ááľááśá˝ á ááľá°á ááááľ á áľá¨áááŁá¸áááĄáĄá¨á ááá á°áááą áŤáá áľ á¨áľáŤ á ááťá¸á á¨áá á¨áłáł á˘ááá áá°áťá áľáŤ áááłáľá á¨á¤á á áááááąá áá áἠááťáťá áŤáľáááá á˛á áááľáľá á´á¤áłá ááłá°áŁá¸áá á¨áááľá´áŠ áŤáááá áá¨á áŤááááłááĄáĄááá áŤá á áľáá ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á á¨áááá áŤá á áľáá ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á áááááĄáĄá¨á°áá áááľá´á á¨áłáááľá á¨áá°á áľáá ááľ áááľá´áá á¨á˘áľáŽáľáŤ ááá áŤá áá á á áá á áá°áŁá á áŤááááľ ááá á áá ááá áŤá á¨á°áá ááááľ ááľá¨á á á á˛áľ á á ᣠáĽá¨á°áŤáá° áááĄáĄá áá á¨ááááľ ááľá¨á áá á¨á°áá áááľáľáŻ áááᎠáááŞáŤáľ áŤááá á¨áᎠááá˝ áŁááľááť á áŤááľ á°ááá°áááĄáĄááááą âá°ááá ááá ááłáľ ááá áŤáὠᤠá°ááá ááá ááłáľ á°ááŞáá˝á áŤááŤáâ á áá á᪠áá áĽá¨á°áŤáá° á¨ááá á˛áá ááá áŤá á áľáá ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á áááááĄáĄá ááááą áááá áŤá°á¨ááľ á¨á°áá áááľáľá áááᎠáááŞáŤáľ áŤáá ááá áŤá áľáááľá áá á¨á˝ áŤáá¸á áĽáľá á ááá á°ááá á ááľá á á áŠá á¨áá°á á áľá°áá˝áŚ ááŤá áááą áááŁá áĽááááĄáĄáááŤá áááŁáł áľáá ááľá á¨á°áá áľáĽáá á¨áá áá á áááá ááá á á¨á°áĽ áľáĽááá á¨á áá¸á áľáááľá á ááá á á¨ááľ á¨ááá áŤá áá ááá°á ááááá á°ááá¨ááá˘áľáá ááľ á¤áśá˝ á¨á°áá áááľ ááá áááľá ááá áŤá áĽáŤá¨ááááľ áŤááá áľáááľá á¨áá á¨á˝ á°ááŁá á á ááá¨á ááá á áĽááłááŁá¸áá áááᎠáááŞáŤáľ á áłáľá áááĄáĄ á ááááą áá á áľá°áŤá¨áľ á¨á°áĄáľ ááá áŤá á á áŠáá¸á á°áá áááá á¨áááá¨áľ ááłá á ááá á°ááá á ááľá áá á áá¨ááἠá¨ááľ á¨ááááľáľ áá á ááá á¨áá á á áŁá¸áá áááááľ áĽáá°ááᥠááá¸áááĄáĄá á°ááá á¨áľá ááᣠáľá áááŁáá á¨áłáŞá áľáá ááľ ááá áŤá áá°ááŞáá˝ á ááŤáááĄáľ áľáá ááľ áá ááááá áááááľ á á°ááá áľ ááááľ áá á¨áĽ áĽááłááŁá¸áá á áááááĄáĄ ááá አá áľá áááŁá á áá፠á ááá á°ááá ááĽ...á¨á˘áľáŽáľáŤ áĽá áá á¨17 á ááľ á áłá˝ áĽááŤá áĄáľáá˝ á¨ááł áĽááľ ááŤááłáá á á˛áľ á á ᣠáľáłáľá¨á áĽá¨á°ááá á¨áááá áĽááŤá áĄáľá á ááŹá á¨ááááľ ááá ááĽá á áĽááą á¨ááł áá áá á°á°áááá˝ áááá á°áĽáá á¨ááááąáľá á ááá¨áľ á¨á áá áľá á¨áááľ á ááᎠá¨áááłáľ ááááśá˝á á á¨áááááĄáĄáŁáááľ áśáľáľ áááľ á áá áá ááłáľ á ááááľ áá áľ á ááá á á˛áᥠá¨áá áŠáľ áłáá¤á á°áľáᏠáĽá á áĄá á¨á ááľáŠ á ááŹá ááááľ á¨áĄáľá áá áá ááááľ á¨á°áŠ á˛áá ááá á°á¨áážá˝ á áá á¤áááľ áá áááááĄáĄá¨17 á ááľ áĄáľáá˝á áĽááľ áááľ á¨á áᎠá áŽá áá áŁá°á¨ááľ á¨á áá ááá°áť á¨ááł áá á¨á ááŽá áŽá á áŠá áááŤá áĽáá áľáá´ áŤáłáŠ 6 á°á¨áážá˝ áĽáŞ áááŚáá¸á á ááŹá ááááľ áá á°ááá°á á¨áĄáľá áá ááááľ áŤá°á¨á á˘ááá á áłáá áĽáá áľáá´ áŁáááłá¨áłá¸á áĽáá˛áááą á°á°ááááĄáĄáá áá áŽááš á áĽááą á¨ááł á áŁáᎠá¨á°á¨á°áŁá¸áá á¨2-0 á˝áááľ áááĽá°á áá° ááłááľáŤá á¨á ááŞáŤ á¨17 á ááľ á áłá˝ áá፠ááááŤáľ á á¨áá°á á°ááłá˝ááľ áĽá ááááľ ááá áłá¸áá á áá¨ááá áá áĽáá°ááá áááłáἠá˝ááááĄáĄá á˘áľáŽáľáŤ áĽá áá ááŤá¨á á¨áá°á¨áá á¨ááł áĽááľ ááľá¨á¨á 22 áá 2009 á á á˛áľ á á ᣠáľáłáľá¨á 10:00 áá á¨ááŤááľ á˛áá á¨ááłá á¨ááŤááľá áľ á¨á á˛áľ á á ᣠáľáłáľá¨á ááłá ááš áááľá¨á á¨ááŤáľá˝á áľáŤáá˝ áĽá¨á°á¨ááá áááááĄáĄá¨áĽááą á°ááŁááŤá˝á á¨áá á¨17 á ááľ á áłá˝ áĽááŤá áĄáľá á áἠá á˛áľ á á ᣠáááŁááĄáĄ á¨ááłáá á¨áááŠáľ á áŤáąá áłáá˝ á¨ááá ᤠáŽáá˝áአá°áá á¨áŠáááł áĽáá°á°áá°áĄá áłááááĄáĄ - Loss:
MatryoshkaLosswith these parameters:{ "loss": "MultipleNegativesRankingLoss", "matryoshka_dims": [ 512, 256 ], "matryoshka_weights": [ 1, 1 ], "n_dims_per_step": -1 }
Training Hyperparameters
Non-Default Hyperparameters
eval_strategy: epochper_device_train_batch_size: 128per_device_eval_batch_size: 128num_train_epochs: 5lr_scheduler_type: cosinewarmup_ratio: 0.1fp16: Trueload_best_model_at_end: Trueoptim: adamw_torch_fusedbatch_sampler: no_duplicates
All Hyperparameters
Click to expand
overwrite_output_dir: Falsedo_predict: Falseeval_strategy: epochprediction_loss_only: Trueper_device_train_batch_size: 128per_device_eval_batch_size: 128per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 5max_steps: -1lr_scheduler_type: cosinelr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}tp_size: 0fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportional
Training Logs
| Epoch | Step | Training Loss | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 |
|---|---|---|---|---|
| -1 | -1 | - | 0.0817 | 0.0650 |
| 1.0 | 315 | 0.9369 | 0.7136 | 0.7046 |
| 2.0 | 630 | 0.2194 | 0.7433 | 0.7348 |
| 3.0 | 945 | 0.1109 | 0.7570 | 0.7505 |
| 4.0 | 1260 | 0.0693 | 0.7704 | 0.7645 |
| 5.0 | 1575 | 0.0581 | 0.7713 | 0.7663 |
- The bold row denotes the saved checkpoint.
Framework Versions
- Python: 3.11.12
- Sentence Transformers: 4.1.0
- Transformers: 4.51.3
- PyTorch: 2.7.0+cu126
- Accelerate: 1.6.0
- Datasets: 3.6.0
- Tokenizers: 0.21.1
Citation
@inproceedings{mekonnen2025amharic,
title={Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval},
author={Kidist Amde Mekonnen, Yosef Worku Alemneh, Maarten de Rijke },
booktitle={Findings of ACL},
year={2025}
}
- Downloads last month
- 77
Model tree for rasyosef/roberta-amharic-text-embedding-medium
Dataset used to train rasyosef/roberta-amharic-text-embedding-medium
Collection including rasyosef/roberta-amharic-text-embedding-medium
Paper for rasyosef/roberta-amharic-text-embedding-medium
Evaluation results
- Cosine Accuracy@1 on dim 512self-reported0.658
- Cosine Accuracy@3 on dim 512self-reported0.792
- Cosine Accuracy@5 on dim 512self-reported0.838
- Cosine Accuracy@10 on dim 512self-reported0.884
- Cosine Precision@1 on dim 512self-reported0.658
- Cosine Precision@3 on dim 512self-reported0.264
- Cosine Precision@5 on dim 512self-reported0.168
- Cosine Precision@10 on dim 512self-reported0.088