我哥哥在外地，所以他想把家里的房子出租。昨天下午一个人看房子，由于我哥不在本地，就让我过去和他们谈，他们看了以后表示有出租的意向，价格什么都谈好后，本来约定今天下午签协议的，但是他们说今天上午就要搬进来，我要上班，住的地方又离我哥哥的房子很远，于是他们就给了我2000元押金，让我把钥匙给他们，我写了一个收条给他们。后来晚上我和我哥哥讲了以后，说家里东西不值2000元，他晚上就回来住在家里。说是明天也正好把住房合同给签了。我昨晚和他打电话他还说今天在的，上午九点以后就一直在了。可是我今早和他通电话他说他来不了，他还让我问我哥明天能不能还在家里呆一天。然后么，我就问我哥，我哥就说务必让他来一趟，明天他要上班了。然后我从那以后打他电话，他手机就一直关机，这中间我至少打了他20个电话，因为我哥下午就要走了，他这一直不接电话，我们就不想租了，正好有别的人过来看房子，所以就把房子租给了那个人。后来三点钟，我们才打通电话，他说他手机没电了，然后就不肯把钥匙交出来，说我们违约，还要我们三倍退还押金，他的要求合理吗？我们该怎么做，谢谢。