Der Kallenturm ist einer von den ehemals sieben Türmen der mittelalterlichen Stadtbefestigung. Er befindet sich heute im Stadtzentrum an der Ecke Löherstraße und Grabenstraße. Die 1820 niedergelegte Rheinbacher Stadtmauer verfügte neben dem rechteckigen Kallenturm über zwei runde Volltürme (beide ebenfalls erhalten: Hexenturm und Wasemer Turm) und vier zwischenzeitlich abgerissene halbrunde Türme.
Der auf rechteckigem Grundriss ausgeführte Turm wurde vermutlich im ausgehenden 13. Jahrhundert errichtet. Aus der damaligen Stadtmauer herausragend, trägt er seit dem Jahr 1604 den Namen Kallenturm, vorher (jedenfalls seit 1501) wurde er als Pfaffenturm („Paffen thorn“) bezeichnet – vielleicht begründet durch die Lage am Fronhof der Abtei Prüm. Der Turm sicherte den Durchlass des Mühlenbaches durch die Stadtmauer, worauf der spätere Name hinweist: Kalle, ein Ausdruck für eine Gewässerrinne. Neben der Verteidigungsfunktion wurde der Kallenturm auch als Gefängnis und zu Wohnzwecken verwendet.
Etwa ab der Zeit bis zum Ende des Zweiten Weltkriegs wurde der Turm als Polizeistation genutzt, wobei auch hier einige Räume des Turmes als Gefängniszellen verwendet wurden. Seit 1969 pachtet der Betreiberverein der Rheinbacher St. Georgspfadfinder (Georgsring e.V.) den Turm als Heimstätte der Organisation. In den Jahren 1970 und 2009/2010 wurden erhebliche Restaurierungsarbeiten an dem Gebäude durchgeführt.
Der Kallenturm steht unter Denkmalschutz.