去年12月在珠江路一家中介买一套二手房给老人住的,中介说我名下有房,贷款不好贷,需要送好处费,除了中介费以外还要两万元,先付一万元,等贷款下来了,再付一万元,结果我们同意了,先付了个中介费,然后多给了一万好处费,结果中介收了钱后也不办事,过了半个月说前面钱没到位,得两万一次付掉,然后我们又付了他一万元,又过了半个月他说银行年底不放贷,说再送点钱通融通融,然后我们就感觉到是被骗了,所以我们就开始自己去每天跑银行办贷款,天天跑两次贷款中心,到和卖房人约定的时间房款还没下来,我们就找人借钱全额先还掉了所有的房款,然后把中介的两万快闹回来了,但他要求必须打个欠条给他,否则钱不还我,我只有打个了欠条把两万元要回来了,然后我又接着跑银行,终于在过年前两天贷款到手了,结果中介说都是他的功劳,但我们问了贷款中心,银行处说这是按正规政策下放的贷款,没什么关系,而中介凭这欠条,语言中对我进行恐吓,要我支付这两万,请问我这种情况该如何处理!