Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

razdel.sentenize does not process text in Georgian language #9

Open
niufir opened this issue Mar 3, 2024 · 1 comment
Open

razdel.sentenize does not process text in Georgian language #9

niufir opened this issue Mar 3, 2024 · 1 comment

Comments

@niufir
Copy link

niufir commented Mar 3, 2024

problem in this code

def split_by_razdel(line):
    """Split line using 'razdel' library"""
    return list(x.text for x in razdel.sentenize(line))

Sample text (language abbr - KA ):

"ჭეშმარიტების სამინისტრო - ჭეშსამინი ახალმეტყველების [2] ენაზე - გამაოგნებლად განსხვავდებოდა ყველა ობიექტისგან, რაც იმ არემარეში ჩანდა. ეს იყო მბზინავი თეთრი ბეტონით ნაგები უზარმაზარი პირამიდული სტრუქტურა, ტერასებად ატყორცნილი სამასი მეტრის სიმაღლეზე. შორიდანვე იკითხებოდა შენობის თეთრ ზედაპირზე ლამაზი ასოებით გამოყვანილი პარტიის სამი ლოზუნგი: ომი მშვიდობაა მონობა თავისუფლებაა უმეცრება ძალაა ჭეშმარიტების სამინისტრო, როგორც ამბობენ, შეიცავდა სამი ათასამდე ოთახს მიწის ზემოთ და შესაბამის განშტოებებს მიწის ქვეშ. ლონდონის სხვადასხვა რაიონში არსებობდა ასეთივე შესახედაობისა და ზომის კიდევ სამი შენობა. იმდენად ჩრდილავდნენ ეს შენობები ქალაქის მთელ დანარჩენ არქიტექტურას, რომ „გამარჯვების სახლის“ სახურავიდან ერთდროულად შეგეძლოთ დაგენახათ ოთხივე. ისინი წარმოადგენდნენ მმართველობის მთელი აპარატის მომცველ ოთხ სამინისტროს: ჭეშმარიტების სამინისტროს, რომელსაც ეხებოდა ახალი ამბები, საზოგადოებრივი გართობა, განათლება და ხელოვნება ; მშვიდობის სამინისტროს, რომელიც დაკავებული იყო ომის საკითხებით ; სიყვარულის სამინისტროს, რომელიც იცავდა კანონსა და წესრიგს ; და ეკონომიკის საკითხებზე პასუხისმგებელ დოვლათის სამინისტროს. მათი სახელები ახალმეტყველებაში ასე ჟღერდა: ჭეშსამინი, მშვიდსამინი, სიყვასამინი, დოვსამინი. [3] სიყვარულის სამინისტრო, მართლაცდა, დამაფრთხობელი შესახედაობისა იყო: არც ერთი ფანჯარა არ ჰქონდა. ამ შენობაში უინსტონი არასოდეს ყოფილა, ნახევარ კილომეტრზეც კი არ მიახლოებია. შეუძლებელი იყო იქ მოხვედრა, თუ არა ოფიციალური საქმისთვის და მაშინაც მხოლოდ ეკლიანი მავთულხლართების, ფოლადის კარიბჭეებისა და ფარულად დადგმული ტყვიამფრქვევების გავლით. მისი გარეთა ბარიერებისკენ მიმავალი ქუჩებიც კი გორილასსახიან, შავფორმიან, დრეკადი ხელკეტებით აღჭურვილ მცველებს გადაეკეტათ.
"

for fix i add new attribute for language and this function using nltk module:

def split_ka(line):
    """Split line in Geogrian"""
    return list( x for x in nltk.sent_tokenize(line) )

@averkij
Copy link
Owner

averkij commented Mar 4, 2024

Thank you. I'll check and add it to python module and Georgian to UI.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants