你好，我爷爷有一块宅基地，以前那里是建有房子的，后来拆掉变为空地。20年前，我爷爷的子仔想发展养羊，没有地方。看见我爷爷有块空地，就问我爷爷借来使用先，那时我爷爷我们家还没有能力建房子，我爷爷就好心让他(爷爷的子仔)拿宅基地来发展养羊，说以后有能力了，在回来建房子，我爷爷生前前几年也跟我伯父叔叔和我妈妈说了:“你们想建房子我就去问他(爷爷的子仔)要宅基地回来建房子”那时还是没有什么钱，想过几年有能力了在建房子，所以也爷爷还没去问。没想到过两年了我爷爷就生病过去了，也忘了说交代了。现在我们想那宅基地回来建房子，他们却说是他们的。在我们三个村的老人知道的都公认是我爷爷的，我们房里的伯母都说是我爷爷的。就只有他自己硬是说是他的，说其他认都不知道。之前也闹了几次，后来到村里还有乡里调解过，在协议书里都签字画押盖公章，对方也承认是我爷爷的，是问我爷爷暂借使用得，不过有个条件，说要使用地，要赔他一点钱，现在他又反悔，说不要钱，硬说是他的。请问律师什么样才能要回宅基地？ 北京市