Someman/mt5-summarize-hi

MT5-Summarize-Hi

A seq2seqLM model pretrained on google/mt5-small.

How To Use

>>> import torch
>>> from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# Predict with test data (first 5 rows)

>>> device = "cuda" if torch.cuda.is_available() else "cpu"

>>> t5_tokenizer = AutoTokenizer.from_pretrained(model_ckpt)
>>> model = AutoModelForSeq2SeqLM.from_pretrained(model_ckpt).to(device)


>>> text = "दरअसल, 28 मई के दिन पहलवान विरोध प्रदर्शन करने के लिए नए संसद भवन की तरफ जा रहे थे। इसी दिन नए संसद भवन का उद्घाटन हो रहा था। पुलिस ने उन्हें रोका तो पहलवानों के साथ उनकी हाथापाई हो गई। दिल्ली पुलिस ने सभी पहलवानों और उनके समर्थकों को हिरासत में ले लिया। इसके बाद जंतर-मंतर से पहलवानों का सामान हटा दिया गया। शाम तक सभी महिला पहलवान और रात तक पुरुष पहलवानों को छोड़ दिया गया। पहलवानों को फिर से जंतर-मंतर में बैठने की अनुमति नहीं मिली, लेकिन उनका विरोध प्रदर्शन जारी रहा। इस बीच सामने आया कि बृजभूषण पर महिला पहलवानों को गलत तरीके से छूने और यौन शोषण के कई आरोप लगे हैं। इस बीच गृहमंत्री अमित शाह ने चार जून को पहलवानों के साथ बात की। पांच जून को सभी बड़े पहलवानों ने अपनी सरकारी नौकरी जॉइन कर ली। "

>>> inputs = tokenizer("summarize: " + text, return_tensors="pt", max_length=1024, padding= "max_length", truncation=True, add_special_tokens=True)

>>> generation = model.generate(
      input_ids = inputs['input_ids'].to(device),
      attention_mask=inputs['attention_mask'].to(device),
      num_beams=6,
      num_return_sequences=1,
      no_repeat_ngram_size=3,
      repetition_penalty=1.0,
      min_length=50,
      max_length=250,
      length_penalty=2.0,
      early_stopping=True
    )
    # # Convert id tokens to text
>>> output = t5_tokenizer.decode(generation[0], skip_special_tokens=True, clean_up_tokenization_spaces=True)


    # print("***** Summary Text (Generated Text) *****")
>>> print(output)

"पछिल्लो तीन घन्टामा गण्डकी प्रदेशका थोरै स्थानमा मौसमविद् लामिछानेले मनसुन प्रणाली क्रमिकरूपमा देशभर विस्तार हुन अझै एक साता लाग्ने बताएको छ । नेपालको उपत्यकासहित बागमती प्रदेशमा रातिको समयमा वर्षाको सम्भावना रहेको महाशाखाले उल्लेख गरेको छ, जसलाई देशको पश्चिम क्षेत्रमा फैलिन केही दिन लागेको थियो।"

Evaluation Result

Step	Training Loss	Validation Loss
1000	1.031200	1.086139
2000	0.863200	1.231357
3000	0.726300	1.092548