לכבוד הרב, השלום והברכה

לפני מספר שנים מכרנו את הדירה שלנו.
בחוזה המכר הכנסנו סעיף קנס על איחור בתשלום עבור הדירה (לפי מספר ימי העיכוב)
ואכן, הקונים איחרו בתשלום האחרון במספר ימים, והסכום הסתכם בכ4000 ש"ח.
מלכתחילה לא חשבנו לממש סעיף זה, אך בעקבות התנהגות לא הולמת מצד הקונים (וגם מצידנו)
החלטנו לדרוש את הסכום הנ"ל בהתאם לחוזה.

לאחרונה יצא לנו לשמוע שיעור שלהבנתינו יש חשש ריבית במימוש סעיף זה.
כיצד עלינו לנהוג בכדי לתקן את הנעשה?