去年邻居为了建房,跑来我家商量要拆了我一间旧房(我的是3间)和我一起下墙脚。当时我没多想就同意了,并告诉他(他去年建好了起了3层),我今年准备建2层,第一层起4米8高(他第一层有3米8高),我地基与他平齐,第2层比他的矮,整体建筑和他一样高。他也同意了。现在我已建了4米5高准备上预制板,他现在反过来不让我建,对我的瓦工师傅百般刁难,使我的房子停了工,有一个月了。我城建,土管手续是全的。他跑了各个部门咨询,但我的建房是合法的,城建给我放的线,土管来拉的尺。我和他房子是平起的,城建反过来给他做工作,叫他不要无理取闹,让我起。我处于乡邻不想闹太僵。与他协商和平解决,他第一天让我矮2平砖,我与师傅计算后同意了,但第2天他又不同意,要我矮4平砖,我不同意,因为太矮了我的房子跑不上2楼,房子的布局要变化。他就闹不让开工,我们街上的乡邻也来劝和大家都让一步,我又找了几个师傅计算改改,我又同意了,他也同意了,准备开工他又反悔不同意,还要我矮。我房子不能再改了【因4米5中有一个4米长的阁楼矮了撞头】。乡邻,师傅,他家人都给来做工作,他耍泼,谩骂。我的房子已停工一个月了,为了不把矛盾升级,我该怎么办? 北京市