发生在农村的房产纠纷，事因房主事前口头将房屋无偿让给乙方使用，由于种种原因，房主要借主归还，借主不同意，造成纠纷，后经房亲等调解，双方达成协议：房主在房屋付给借主使用时，借主在使用房屋期间没有时间期限，借主在使用房屋时，或用任何使用性质（但不可出卖）房主无权利干涉和收回。房主在收回借主房屋期限，必须在借主自己有房屋居住时才可收回（包括自建和购买）。房主在收回借主房屋时，借主不得损坏其房屋（包括不动建筑物和室内装修物）。房主最近发现借主一直不在该房屋居住，且把房屋租给其他外来人，而自己向村公所长期租赁房屋居住，所以发起收回房屋使用权，但借主认为房主反悔没按协议约定履行，因为借主目前还没自建或购买房屋，而房主认为既然借主不需要使用该房屋而租给外来人已经没必要让其一直使用下去了，而且借主恩将仇报，二家人本来是亲戚，由于其他原因和此原因造成不相往来，本协议是2005年签订的，至今已有六年，故此房主认为有收回的必要性。请问：就此房产纠纷问题，房主有权收回旧屋吗？ 北京市