西溪里小区无理由要求客户退房维权

这个小区N年前买的房子，现在去拿钥匙，说是我们违约了，理由是几年前拿了违约金，让人一头污水，当时吃吃不能交房，好多人去闹事，当时给了补偿价，条子上写的是抵充房款，说是给了违约金，你们又没有拿房所以违约，我就郁闷了，自从买了房子从没有收到过让我们去拿钥匙的通知，何况合同上写的是书面通知我们交房，这样的开发商应该怎么办，有买房的一起维权。