Spamassassin doet niet aan autolearn

Technische problemen? Hier kun jij jouw vragen stellen!
Forumregels
Check eerst onze helpsectie (https://www.antagonist.nl/help) voordat je hier een vraag stelt. Voor de meeste vragen hebben we uitgebreide handleidingen met uitleg.
Plaats reactie
Niek
Berichten: 16
Lid geworden op: 03 mei 2007, 14:47

Spamassassin doet niet aan autolearn

Bericht door Niek » 11 okt 2021, 08:01

Ik word belaagd met spamberichten. Ik registreer me zoveel mogelijk met tijdelijke e-mailadressen van temp-mail.org, maar om de zoveel tijd is er een periode dat ze me echt weten te vinden. Het probleem is dat Spamassissin verondersteld wordt zichzelf te trainen, maar hij doet het niet. Nochtans verhuis ik elk spambericht naar de spamfolder (subfolder van inbox).

Dit zijn mijn instellingen:

Afbeelding

Voor zover ik weet, zijn die standaard en correct.
Ook aan de prefs file heb ik nooit geraakt:

Afbeelding

Wanneer ik een spammail bekijk, dan zie ik dat er maar een score van 2.5 wordt toegekend:

Afbeelding

Ik kan de threshold natuurlijk nog lager dan 5 zetten, maar wat me vooral zorgen baart is dat hij zegt "autolearn=no".
Bij het voorbeeld van de helppagina (https://www.antagonist.nl/help/nl/email/spam/spam) staat daar "autolearn=spam":

Afbeelding

Dus volgens mij mag ik nog hele dagen spam zitten verslepen naar die map, mijn spamassassin traint zich niet...
Hoe los ik dit op?

Joris de Leeuw
Antagonist staff
Berichten: 1344
Lid geworden op: 13 feb 2016, 20:15

Re: Spamassassin doet niet aan autolearn

Bericht door Joris de Leeuw » 11 okt 2021, 10:07

Hallo Niek,

Graag wil ik aangeven dat wat SpamAssasin in de headers over autolearn aangeeft nogal verwarrend is.
Dat autolearn=no aan wordt gegeven komt omdat SpamAssassin over de mail niets leert omdat die al eerder een dezelfde mail heeft gezien. Hij hoeft dan niet nogmaals opnieuw te leren.

SpamAssassin traint daarbij automatisch aan alle mail die voorbij komt. Je hoeft dus zelf niet met mail te slepen tussen mappen.

Mocht je veel last hebben van spam kan je de threashold iets lager zetten. Veel klanten zien met een score van 4.0 al goed resultaat.

Op eigen risico kan je ook nog bepaalde punten anders laten scoren door handmatig de configuratie aan te passen. Al kan je daardoor ook zien dat onterecht legitieme mail als spam wordt gezien.
Met vriendelijke groet,

Joris de Leeuw
Antagonist staff

Niek
Berichten: 16
Lid geworden op: 03 mei 2007, 14:47

Re: Spamassassin doet niet aan autolearn

Bericht door Niek » 11 okt 2021, 12:23

Zelfs met 4.0 kom ik helaas niet toe, aangezien de spam amper 2.5 scoort.

Kunnen we Spamassassin manueel trainen? Zoals hier: https://geekthis.net/post/spamassassin-training/ of https://spamassassin.apache.org/full/3. ... learn.html

EDIT: Ik heb de threshold op 2.0 gezet. Erg laag, maar hopelijk vangt hij hiermee meer spam. Jammer dat je geen folder kan kiezen waar je echte spam in zet, zodat Spamassassin wat slimmer kan worden.

Rob!
Berichten: 7
Lid geworden op: 04 mar 2019, 10:00

Re: Spamassassin doet niet aan autolearn

Bericht door Rob! » 11 okt 2021, 19:40

Hoi Joris,

Dank je voor jouw uitleg. Ook ik heb de afgelopen dagen weer veel spam in de inbox zitten. Dit komt om de paar maanden voor. Hierbij zitten zelfs spam scores van onder de 1. Het lijkt dan dat SpamAssassin meerdere dagen nodig heeft om weer correct de gestuurde berichten als spam te identificeren.

Als SpamAssassin dus zelf leert, zouden we spam berichten met autolearn=no dus niet meer moeten zien in onze mailbox. Als een spam bericht in de headers autolearn=no heeft staan, heeft SpamAssassin dus eerder foutief van een zelfde mail geleerd dat het geen spam bericht is.

Het zou dan wel erg helpen, wanneer gebruikers mails kunnen aanleveren in een folder of email adres waardoor Spamassassin sneller leert.

Rob

Niek
Berichten: 16
Lid geworden op: 03 mei 2007, 14:47

Re: Spamassassin doet niet aan autolearn

Bericht door Niek » 14 okt 2021, 08:30

Na het verlagen van de threshold naar 2.0 was het een paar dagen ok, tot ik deze ochtend plots wakker werd met opnieuw 18 spam mails, exact dezelfde als een week geleden!!

Ik ging dus opnieuw naar de headers kijken en zag nu dit:

Code: Selecteer alles

X-Spam-Checker-Version: SpamAssassin 3.4.4 (2020-01-24) on
	s218.webhostingserver.nl
X-Spam-Level: 
X-Spam-Status: No, score=0.7 required=2.0 tests=ANTAGONIST_FCHECK1,
	HTML_MESSAGE,HTML_MIME_NO_HTML_TAG,MIME_HTML_ONLY,SPF_HELO_PASS,
	SPF_PASS,URIBL_BLOCKED autolearn=no autolearn_force=no version=3.4.4
X-Spam-Report: 
	*  0.0 URIBL_BLOCKED ADMINISTRATOR NOTICE: The query to URIBL was
	*      blocked.  See
	*      http://wiki.apache.org/spamassassin/DnsBlocklists#dnsbl-block
	*      for more information.
	*      [URIs: foodscandal.recipes]
	*  0.0 ANTAGONIST_FCHECK1 Not antagonist.nl sender
	* -0.0 SPF_PASS SPF: sender matches SPF record
	* -0.0 SPF_HELO_PASS SPF: HELO matches SPF record
	*  0.1 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
	*  0.0 HTML_MESSAGE BODY: HTML included in message
	*  0.6 HTML_MIME_NO_HTML_TAG HTML-only message, but there is no HTML
	*      tag
De score is nu nog maar 0.7!

Ik snap dat we als eindgebruiker weinig tot geen impact hebben op hoe spamassassin werkt bij Antagonist, maar kan je dit aub oplossen?

Code: Selecteer alles

	*  0.0 URIBL_BLOCKED ADMINISTRATOR NOTICE: The query to URIBL was
	*      blocked.  See
	*      http://wiki.apache.org/spamassassin/DnsBlocklists#dnsbl-block
	*      for more information.
Dit was exact dezelfde mail één week geleden:

Code: Selecteer alles

	*  1.7 URIBL_BLACK Contains an URL listed in the URIBL blacklist
Ik word stilaan gek van al die spam.
Als dit niet onder controle geraakt, zoek ik een andere mailprovider.

Joris de Leeuw
Antagonist staff
Berichten: 1344
Lid geworden op: 13 feb 2016, 20:15

Re: Spamassassin doet niet aan autolearn

Bericht door Joris de Leeuw » 18 okt 2021, 07:43

Vervelend om te lezen dat jullie zo veel last hebben van spam. Wij hebben dit ook afgelopen week gezien.

We zagen dat er afgelopen week vanuit meerdere IP-reeksen van Serverion B.V. een enorme spam-run is gestart. Het lijkt hierbij op dat de kwaadwillende bewust er voor kiest een Nederlandse partij te gebruiken gezien deze IP-adressen een hogere reputatie hebben.
Daarnaast is de spam-mail dus zo opgezet dat spamfilters zoals SpamAssassin dit niet direct door hebben. De spammers hebben er immers baat bij dat dit soort vervelende mail in de inbox komen. Bij andere partijen die SpamAssassin gebruiken glipt dit er dus ook (deels) doorheen.

Deze specifieke spam-mails worden nu verder automatisch geblokkeerd bij de voordeur mede door blacklisting van ook deze IP-reeksen. Als er veel ongewenste mail vanaf een partij binnen komt wordt die automatisch via blacklisting geblokkeerd al kost dat meestal een tiental minuten, waardoor er met zo'n nieuwe run altijd iets doorheen kan glippen.

Wij hebben natuurlijk ook een abuse klacht bij de partij zelf ingediend. Dit zodat de IT-afdeling van dit bedrijf het hopelijk oppakt. Tot nu toe hebben wij echter niets terug gehoord.
Het lijkt dus of ze lopen te slapen of er bewust een rommeltje van maken gezien de grote hoeveelheid spam die uit hun netwerk komt.

Om deze reden hebben wij ook al in onze firewalls meerdere IP-blokken vanuit Serverion B.V. geblokkeerd met het gevolg dat hun systemen geheel niet meer kunnen verbinden. Een uiterste noodgreep die wij liever niet doen, maar gezien het ongewenste gedrag wat blijft door gaan hopelijk wel een signaal naar ze geeft.

Wat ik daarbij nog iedereen wil aanraden als tip een klacht in te dienen bij het ACM. Het ACM is de aangewezen overheidsinstantie waar Nederlanders zich kunnen melden voor spamklachten over andere Nederlandse organisaties.
Hoe meer klachten er komen hoe groter de kans is dat ACM er iets mee doet en een boete uitdeelt en de het Nederlandse bedrijf waaruit de verzending plaats vindt alerter wordt.

Zie ook:
https://www.acm.nl/nl/onderwerpen/telec ... bij-de-acm

Ik weet dat diverse andere klanten ook al een klacht in hebben gediend. Dus hopelijk helpt het. :D


Betreffende auto_learn staat dit wel aan, maar werkt dit mogelijk niet zoals iedereen verwacht.
Met auto_learn leert SpamAssassin namelijk aan waarvan het zeker weet dat het spam is. Aan de hand van die Bayes data herkent SpamAssassin dan automatisch nieuwe mail.

Het geeft daarbij een zekerheid van 100% dat een bericht spam is mits het een score van 12 of hoger heeft.
Je kan dit overigens wel lager zetten al is de kans groter dat je dan SpamAssassin aanleert dat legitieme mail ook spam is

Dit kan met de bayes_auto_learn_threshold_spam configuratie parameter die standaard op 12 staat.
Je kan die eventueel kritischer zetten in je eigen SpamAssasin configuratie. Rond de 8 bevelen veel wel aan, maar veel lager zetten zorgt dus snel voor false positives.

Ik zal nog samen met collega's onderzoeken of wij dit standaard mogelijk strikter kunnen zetten. Al dien je hiermee zeer secuur om te gaan. Anders zul je zien zoals je vaak bij andere partijen ziet dat zonder duidelijke reden opeens ook gewenste mail in de spam geraakt.

Zie bijvoorbeeld ook: https://docs.danami.com/warden/settings ... g-settings
Met vriendelijke groet,

Joris de Leeuw
Antagonist staff

Niek
Berichten: 16
Lid geworden op: 03 mei 2007, 14:47

Re: Spamassassin doet niet aan autolearn

Bericht door Niek » 02 nov 2021, 15:51

Ok, maar meer en meer spam glipt er doorheen omwille van deze reden:

Code: Selecteer alles

X-Spam-Status: No, score=0.7 required=2.0 tests=ANTAGONIST_FCHECK1,
	HTML_MESSAGE,HTML_MIME_NO_HTML_TAG,MIME_HTML_ONLY,RCVD_IN_MSPIKE_H2,
	SPF_HELO_PASS,SPF_PASS,URIBL_BLOCKED autolearn=no autolearn_force=no
	version=3.4.4
X-Spam-Report: 
	*  0.0 URIBL_BLOCKED ADMINISTRATOR NOTICE: The query to URIBL was
	*      blocked.  See
	*      http://wiki.apache.org/spamassassin/DnsBlocklists#dnsbl-block
	*      for more information.
	*      [URIs: juniordecade.hockey]
	* -0.0 RCVD_IN_MSPIKE_H2 RBL: Average reputation (+2)
	*      [185.121.123.200 listed in wl.mailspike.net]
	*  0.0 ANTAGONIST_FCHECK1 Not antagonist.nl sender
	* -0.0 SPF_PASS SPF: sender matches SPF record
	* -0.0 SPF_HELO_PASS SPF: HELO matches SPF record
	*  0.1 MIME_HTML_ONLY BODY: Message only has text/html MIME parts
	*  0.0 HTML_MESSAGE BODY: HTML included in message
	*  0.6 HTML_MIME_NO_HTML_TAG HTML-only message, but there is no HTML
	*      tag
Ik denk dat die URI Blocklist rate limited is.
Ze raden je op die pagina (http://wiki.apache.org/spamassassin/Dns ... nsbl-block) aan om je eigen Caching Nameserver te draaien.

Joris de Leeuw
Antagonist staff
Berichten: 1344
Lid geworden op: 13 feb 2016, 20:15

Re: Spamassassin doet niet aan autolearn

Bericht door Joris de Leeuw » 03 nov 2021, 10:01

Niek schreef:
02 nov 2021, 15:51
Ze raden je op die pagina (http://wiki.apache.org/spamassassin/Dns ... nsbl-block) aan om je eigen Caching Nameserver te draaien.
Dat doen wij reeds. Maar het kan zijn dat een blacklists tijdelijk even onbereikbaar is of door enorme hoeveelheid lookups die door (spam) mails die voorbij vliegen toch (even) rate limit.

Mede daarom gebruiken wij meerdere bronnen en blacklists waaronder ook Spamhaus, Spamcop en Barracuda.

Ook zijn wij Serverion B.V. waar in afgelopen weken met name veel spam vandaan kwam in de firewalls gaan blokkeren. Iets wat we eigenlijk normaal gesproken nooit doen, maar gezien Serverion B.V. niet lijkt te stoppen dit geen andere keuze geeft. Dan lopen we ook minder aan tegen de reactiviteit van blacklists gezien het meestal een tiental minuten tot enkele uren duurt voordat een spam IP in een blacklist is opgenomen.
Met vriendelijke groet,

Joris de Leeuw
Antagonist staff

emiel
Berichten: 73
Lid geworden op: 03 jan 2016, 12:40
Locatie: Gouda
Contacteer:

Re: Spamassassin doet niet aan autolearn

Bericht door emiel » 03 nov 2021, 15:29

Joris de Leeuw schreef:
18 okt 2021, 07:43
...
Dit kan met de bayes_auto_learn_threshold_spam configuratie parameter die standaard op 12 staat.
Je kan die eventueel kritischer zetten in je eigen SpamAssasin configuratie. Rond de 8 bevelen veel wel aan, maar veel lager zetten zorgt dus snel voor false positives.
...
Waar kan ik dit zetten? Gewoon in de user_prefs config file van SpamAssassin? En dan als:

Code: Selecteer alles

bayes_auto_learn_threshold_spam 8

Joris de Leeuw
Antagonist staff
Berichten: 1344
Lid geworden op: 13 feb 2016, 20:15

Re: Spamassassin doet niet aan autolearn

Bericht door Joris de Leeuw » 03 nov 2021, 16:21

emiel schreef:
03 nov 2021, 15:29
Waar kan ik dit zetten? Gewoon in de user_prefs config file van SpamAssassin? En dan als:

Code: Selecteer alles

bayes_auto_learn_threshold_spam 8
Klopt inderdaad! :)

Merk op dat je hier wel altijd voorzichtig mee om dient te gaan. We hebben wel eens klanten gezien die door een onhandige config in de user_prefs alle binnenkomende mail direct laten weggooien. Dus enige voorzichtheid is geboden.

Al is bij bayes_auto_learn_threshold_spam enkel het risico dat je sneller een mail spam laat zijn.
Met vriendelijke groet,

Joris de Leeuw
Antagonist staff

Plaats reactie