Doel en uitgangspunten
USBis is een hulpmiddel om historische tijdschriftartikels snel terug te vinden in vier tijdschriften over Roeselare en de ruime omgeving.
De oorspronkelijke pdf-pagina is altijd de enige authentieke en correcte bron.
Alle teksten, trefwoorden, indexgegevens en zoekresultaten in USBis zijn hulpmiddelen bij het zoeken. Ze vormen geen nieuwe historische bron en vervangen de oorspronkelijke publicatie niet.
Bij twijfel moet de gebruiker dus altijd terugkeren naar de overeenkomstige pagina in het originele pdf-bestand.
USBis werd ontwikkeld voor onderzoekers, heemkundigen, verenigingen, gidsen, studenten en erfgoedmedewerkers zonder gespecialiseerde achtergrond, opleiding, of vakkenis.
USBis is in de eerste plaats een ontsluitingsinstrument, en geen kritische heruitgave van de tijdschriften. De uiteindelijke waarde voor de gebruiker zou kunnen worden samengevat met de termen zoekbaarheid – leesbaarheid – ontdekbaarheid: door de opzet kan de gebruiker informatie ontdekken in de marge naast en bovenop waarnaar hij/zij specifiek zocht.
De mogelijkheid bestaat dat de toepassing later nog wordt uitgebreid naar gelijkaardige informatiedragers
Bronnen
Voor de samenstelling van USBis werden verschillende bronnen gecombineerd:
– de oorspronkelijke pdf-bestanden van de tijdschriften;
– de onderliggende OCR-teksten (Optical Character Recognition – tekstherkenning) ;
– de titelindex van Geert Hoornaert;
– de daarvan afgeleide databank van Heemkunde West-Vlaanderen;
– de beschikbare artikels- en trefwoordendatabanken;
– de database van Familiekunde Vlaanderen voor familienamen;
– openbare databanken met plaatsnamen;
– de inhoudstabellen van de tijdschriften zelf.
Architectuur van de bestanden
De toepassing omvat een aantal verschillende soorten bestanden:
– de html pagina, dit bepaalt wat de gebruiker uiteindelijk op het scherm ziet. Een html pagina kan best vergeleken worden met een lokale website, zonder dat daarvoor toegang tot het internet vereist is
– de oorspronkelijke pdf bestanden, die een scan vormen van de papieren versie van de tijdschriften
– tekstbestanden van de tijdschriften, gebaseerd op de pdf bestanden, maar daarna gecorrigeerd en gestructureerd
– index bestanden om zoektermen te kunnen leiden naar de overeenstemmende pagina
Een pdf-bestand bestaat uit meerdere informatielagen:
– een laag voor afbeeldingen;
– een laag voor tekst;
– een laag voor lettertypes en lettergroottes;
– een laag voor inhoudstafels;
– eventueel bijkomende lagen voor bladwijzers, annotaties en technische metadata.
Bij de verwerking werden de afbeeldingen opnieuw geformatteerd naar een uniforme beeldscherpte van 150 dpi. Waar nodig werden de afbeeldingen gecorrigeerd, waardoor de uiteindelijke pdf-bestanden aanzienlijk kleiner werden dan de oorspronkelijke bestanden.
De ongeveer 550 individuele tijdschriftnummers werden vervolgens samengevoegd tot jaargangen per tijdschrift. Daarna werden de artikels afzonderlijk toegankelijk gemaakt.
Zo bleven uiteindelijk ongeveer 105 jaargangen over, meestal met een omvang van 30 à 40 MB per jaargang.
Elke jaargang heeft als bestandsnaam het tijdschrift en het jaar. Voor de eenvoud werd het tijdschriftnummer niet weerhouden in de toepassing, maar deze is nog steeds zichtbaar in de pdf bestanden
Verwerkingsproces
Uit de jaargangen per tijdschrift werd de onderliggende OCR-tekst gelicht. Dit is de tekst die bij het oorspronkelijke scannen van de papieren tijdschriften door tekstherkenning werd aangemaakt.
De gezamenlijke tekst van elke tijdschriftreeks werd opgespaard in één tekstbestand. Elke pagina kreeg daarin een vaste paginamarkering met de naam van het tijdschrift, de jaargang en het paginanummer.
De kwaliteit van de oorspronkelijke herkenning verschilde sterk. Er werd indertijd gescand met verschillende machines en op verschillende tijdstippen. Ook de oorspronkelijke dragers verschilden sterk:
– gestencilde tijdschriften;
– fotokopieën;
– gedrukte nummers;
– pagina’s met één kolom;
– pagina’s met meerdere kolommen;
– beschadigde of slecht contrasterende pagina’s;
– documenten met afwijkende lettertypes en lay-out.
Op de OCR-teksten werden vervolgens in meer dan 60 opeenvolgende rondes verbeteringen toegepast, met verschillende technieken en controles. Het doel was tweevoudig:
– de zoekmogelijkheden vergroten;
– de leesbaarheid van de tekst verbeteren.
De leesbaarheidsscore verbeterde uiteindelijk van ongeveer 75% naar 95%. Deze score is niet uniform, en verschilt van pagina tot pagina. Vaak zijn OCR-fouten vooral geconcentreerd in moeilijke pagina’s, tabellen, voetnoten, cursieve tekst en samengestelde kolommen. Pagina’s met lage leesbaarheidsscores werden geselecteerd voor bijkomende controle en verbetering.
Gebruik van AI
AI werd gebruikt als ondersteunend hulpmiddel binnen het verwerkingsproces.
Voor pagina’s met de slechtste leesbaarheidsscores werden de pdf’s opnieuw visueel ingelezen en met behulp van AI opnieuw geïnterpreteerd.
AI werd daarnaast gebruikt voor:
– het voorstellen van tekstcorrecties;
– het herkennen van mogelijke titels en auteurs;
– het opsporen van namen en plaatsen;
– het vergelijken van titelgegevens met pagina-inhoud;
– het samenstellen van lexicons;
– het opsporen van mogelijke doublures;
– het ondersteunen van kwaliteitscontroles;
– het creëren van de zoektoepassing zelf, en de onderliggende indexen en regels.
AI werd niet beschouwd als historische bron en kreeg geen zelfstandige beslissingsbevoegdheid over de oorspronkelijke inhoud. De regels daarbij waren conservatief: enkel bij een voldoende herkenning van individuele woorden werd de oorspronkelijke tekst verbeterd,
Correcties en controles door AI werden altijd steekproefsgewijs visueel gecontroleerd, en zo nodig bijgestuurd. In eeen aantal gevallen werd een selectie afgezonderd voor manuele correctie en verificatie.
Lexicons
Op basis van de recente nummers van *Erfgoed Roeselare* werd met behulp van AI een lexicon geëxtraheerd, deze bron was het meest leesbaar en ook specifiek geschiedenis-gericht.
Voor persoonsnamen werd een database van Familiekunde Vlaanderen gebruikt om de duizend meest voorkomende familienamen te destilleren.
Voor plaatsnamen werd een index samengesteld uit openbare databanken.
Ook de database van Heemkunde West-Vlaanderen met artikels en trefwoorden werd gebruikt als bron voor betrouwbare schrijfwijzen.
Deze bronnen werden systematisch gebruikt in de opeenvolgende verbeteringsrondes.
Er werd uitdrukkelijk rekening gehouden met:
– historische spelling;
– oude schrijfwijzen;
– dialectvormen;
– Franse teksten;
– afkortingen;
– varianten van persoonsnamen;
– varianten van plaatsnamen.
Oude schrijfwijzen werden niet gemoderniseerd, maar via een alias kan zowel de nieuwe als de oude schrijfwijze worden herkend en doorzocht, bij voorbeeld: Rousselaere = Rousselare = Roeselare. De alias verandert niet de oorspronkelijke tekst. Andere voorbeelden zijn B.R.T. = BRT = VRT, of COO = OCMW
Aanvullingen aan de lexicons kunnen in de toekomst worden toegevoegd zonder de bronteksten opnieuw te verwerken.
De Hindex database
De Hindex-database (‘Historia Index’)vormt de administratieve en bibliografische ruggengraat van USBis.
Het heeft de vorm van een Excel werkblad, waarin onder meer worden bijgehouden:
– tijdschrift;
– jaargang;
– nummer;
– titel;
– auteur;
– pdf-bestand;
– artikelnummer;
– beginpagina;
– trefwoorden en zoekpaden.
Het Excel werkblad zelf maakt geen deel uit van de bestanden op de USB stick. Er is wel een pdf kopie van de meest relevante velden raadpleegbaar.
Een cruciale stap was het verbinden van elke titel met de correcte pagina in de individuele pdf-bestanden. Dat gebeurde gedeeltelijk automatisch, met ondersteuning van AI, en vervolgens via steekproefsgewijze visuele controle. Een deel van de artikels werd verder manueel opgezocht en gekoppeld.
Ondanks alle zorgvuldigheid is het mogelijk dat een titel naar een verkeerde beginpagina verwijst, via de reactie/suggestiepagina op de website kan elke gebruiker een verkeerde paginakoppeling melden.
Trefwoorden en zoekindex
In de database van Heemkunde West-Vlaanderen was een lijst beschikbaar van ongeveer 5.000 unieke trefwoorden voor artikels in de vier tijdschriften.
Na correctie werden de trefwoorden behouden die meer dan vijf keer voorkwamen in de ongeveer 6.000 artikels.
Dat leverde ongeveer 1.000 unieke trefwoorden op.
Deze trefwoorden werden opnieuw op alle teksten toegepast. In totaal werden meer dan 200.000 treffers gevonden.
Per artikel kregen de trefwoorden een relevantiescore. Daarbij werd onder meer gekeken naar het aantal vermeldingen van een trefwoord in het artikel.
In het resultatenveld worden de vijf trefwoorden met de hoogste scores getoond.
Bij het opslaan of afdrukken van de resultatenlijst wordt daarenboven de volledige beschikbare lijst van trefwoorden weergegeven.
Het doel daarvan is de gebruiker geleidelijk vertrouwd te maken met het uitgebreide aanbod aan trefwoorden.
Trefwoorden met meer dan 1.000 treffers werden niet opgenomen in de gewone zoekroutines, omdat ze te veel resultaten opleveren en onvoldoende selectie mogelijk maken. Zo komt “Roeselare” in ongeveer 4.757 van de 5.676 artikels voor en “Rodenbach” in ongeveer 1.501 artikels.
Voor het gebruik van trefwoorden, en de mogelijkheden daarrond, verwijzen we naar de handleiding
De html toepassing
USBis gebruikt een lokale HTML-toepassing die rechtstreeks vanaf de USB-stick kan worden geopend.
De toepassing werkt in een gewone moderne webbrowser.
Er is geen afzonderlijke server, databaseverbinding of internetverbinding nodig voor het uitvoeren van de zoekopdrachten.
De HTML-toepassing leest de indexbestanden en koppelt de zoekresultaten aan de beschikbare teksten en pdf-pagina’s.
De toepassing bestaat uit verschillende onderdelen:
– een zoekinterface;
– filters;
– resultatenlijsten;
– artikelinformatie;
– trefwoorden;
– koppelingen naar bronpagina’s;
– functies voor opslaan en afdrukken.
Terminologie
In USBis worden verschillende termen gebruikt die niet altijd dezelfde betekenis hebben als in een klassieke bibliotheekcatalogus.
Een “artikel” is een inhoudelijk afgebakende bijdrage zoals die in de index werd opgenomen.
Een “titel” is de titel zoals die in de beschikbare index of op de tijdschriftpagina voorkomt.
Een “auteur” kan in de bron volledig worden vermeld, met initialen worden aangeduid of gedeeltelijk onleesbaar zijn.
Een “trefwoord” is een zoekingang die aan een artikel werd gekoppeld op basis van de tekst of bestaande registers.
Een “resultaat” is een gevonden woord- of trefwoordvermelding, niet noodzakelijk een afzonderlijk inhoudelijk onderwerp.
Een “alias” is een alternatieve schrijfwijze die naar dezelfde zoekgroep verwijst.
Een “brontekst” is de oorspronkelijke tekst op de pdf-pagina, niet de verbeterde OCR-versie.
Juistheid van de teksten
De oorspronkelijke tekst in het pdf-bestand is de enige oorspronkelijke en correcte bron.
De teksten die in USBis worden doorzocht, zijn afgeleid van OCR en vervolgens verbeterd.
Daarbij zijn onvermijdelijk fouten ingeslopen.
Een foutief herkend woord zoals `∆oe√elare` kan bijvoorbeeld automatisch zijn verbeterd naar het meest waarschijnlijke `Roeselare`, terwijl het in de oorspronkelijke context ook `Koekelare` had kunnen zijn.
Het was niet mogelijk om alle 19.000 pagina’s volledig manueel opnieuw te lezen.
De verbeterde tekst is dus beter bruikbaar voor zoeken en meestal leesbaarder, maar niet noodzakelijk identiek aan de oorspronkelijke gedrukte tekst.
Bij elk belangrijk historisch gebruik moet de gebruiker de pdf-pagina controleren.
Errata en correcties
Gekende errata zullen worden vermeld en bijgwerkt op de website. De USBis toepassing zelf wordt slechts verbeterd bij een volgende uitgave of versie
Ondanks controles kunnen fouten voorkomen in:
– de OCR-tekst;
– de titel;
– de auteursnaam;
– het jaartal;
– de paginaverwijzing;
– de trefwoorden;
– de koppeling naar een pdf-bestand;
– de schrijfwijze van een persoon of plaats.
Fouten in de oorspronkelijke publicatie worden niet stilzwijgend gecorrigeerd.
Fouten in de USBis-index of zoeklaag kunnen wel in een volgende editie worden verbeterd.
Gebruikers worden uitgenodigd om problemen te melden met vermelding van:
– tijdschrift;
– jaargang;
– nummer;
– artikel;
– pagina;
– gevonden fout;
– voorgestelde correctie;
– eventuele schermafbeelding.
Van struikelstenen en zwarte gaten
Bij de ontwikkeling van de toepassing kwamen er een aantal vaststellingen, die regelmatig noopten tot een (grondige) wijziging van de aanpak. We geven ze hier mee als aandachtspunten voor gelijkaardige toekomstige projecten:
- De eerste bedoeling was om één pdf bestand per tijdschrift te maken, maar dit resulteerde in bestanden van 1,5 Gb met meer dan 5000 pagina’s. Zowel de correctie van teksten als de snelheid van pagina’s doorzoeken was daardoor tijdrovend. Vandaar dat werd gekozen voor een bundeling per tijdschrift en jaargang, 105 bestanden van telkens 30-40Mb.
- De bedoeling was ook om tekstverbeteringen in het pdf bestand zelf aan te brengen, en daar een inhoudstabel in te voegen was evenmin haalbaar.
- Vandaar kwam de beslissing om de pdf bestanden als ‘canoniek’ te beschouwen, en enkel als bron, niet als een werkinstrument.
- In de plaats daarvan kwam een tekst-extract uit de tekst-pdf laag, per tijdschrift betekende dit een 15 Mb (dus 100x kleiner), en makkelijker verder te bewerken en te analyseren
- De grootste uitdaging was om de titels uit de database te verbinden met de correcte pagina’s in de pdf bestanden. Sommige tijdschriften gebruikten een doorlopende paginering doorheen het hele jaar, sommige andere deden dit per nummer, maar ook dit veranderde soms; de voorkaft werd soms wel en soms niet meegeteld als een pagina enz. Maar ook bv, en dit werd pas in de laatste stappen duidelijk, een aantal pagina’s of tijdschriftnummers die ontbraken in de oorspronkelijke pdf bestanden
- In de 8 maanden van het project zijn ondertussen de mogelijkheden van AI met reuzeschreden vooruitgegaan, en ook onze eigen kennis wat mogelijk was met AI. Waar vroeger scripts (= mini-programma’s) nog met de hand moesten worden gekopieerd en uitgevoerd, was dit op het einde volledig gestroomlijnd en geautomatiseerd, uitsluitend gebaseerd op beschrijvende instructies. Toekomstige projecten zullen wellicht in een fractie van de tijd kunnen worden uitgevoerd
- AI is niet kritisch, en zal niet een hele gedachtengang of aanpak in vraag stellen, maar heeft eerder de neiging om te blijven ‘deuredoen’, en telkens meer complex te maken. Maar, zonder AI was dit project onmogelijk te realiseren geweest
Copyright en gebruiksrechten
De tijdschriften, teksten, afbeeldingen en illustraties kunnen onder verschillende auteurs- en reproductierechten vallen.
USBis is bedoeld voor historische ontsluiting, onderzoek, educatie en verenigingswerking.
De aanwezigheid van een tekst of afbeelding in de toepassing betekent niet automatisch dat deze vrij mag worden hergebruikt.
Voor overname, publicatie, commerciële verspreiding of gebruik buiten de afgesproken context moet de gebruiker zelf nagaan wie de rechthebbende is.
Bronvermelding is altijd noodzakelijk.
* Per tijdschrift: een korte rechtenverklaring.
* Wie kan toestemming geven voor herpublicatie.
* Onderscheid tussen auteursrecht, databankrecht, privacy en portretrecht.
* Standaardformule toe voor correcte bronvermelding.
* Behandeling van verzoeken tot verwijdering, beperking of correctie.
