Ljubešić, Nikola, informatičar

Event detection in newspaper texts / Ljubešić, Nikola. - str.

U izlaganju se prikazuje problem pronalaženja događaja u skupini dokumenata - članaka objavljenih na novinskim portalima. Kako se u ovom slučaju informacijskom jedinicom smatra pojedini dokument, radi se o problemu klasifikacije dokumenata s nepoznatim popisom i brojem kategorija. Taj se problem rješava metodom klasteriranja bez prethodno poznatog broja kategorija kao jednom od oblika nenadzirane klasifikacije. Istražuju se sva tri važna koraka u tehnikama klasteriranja - formalizacija dokumenta, računanje matrice udaljenosti te samo klasteriranje. Pri formalizaciji dokumenta pozornost se posvećuje odabiru značajki za prikaz dokumenta (uklanjanje funkcijskih riječi, hapax legomena), ekstrakciji značajki (morfološka normalizacija, višečlani izrazi) te mjerama težina značajki. U koraku računanja matrice udaljenosti istražuje se više metrika udaljenosti iz područja geometrije, teorije skupova te teorije informacija. Kod algoritama za klasteriranje odabire se između jednostavnijih algoritama jednim prolazom i kompleksnijih hijerarhijskih algoritama. Krajnje oblikovani algoritam koristi pretežno statističke, jezično nezavisne metode te postiže F0.5 vrijednost od ~ 0.8.


ENG



Powered by Koha