卢某有坐落于某市某街的房屋一幢。卢于1967年下放回原籍，该房屋暂由刘某等人居住。1969年因房屋过旧，刘某等人迁走，该房屋交由居委会代管。1969年11月，王某夫妇无房居住，经居委会安排搬进该房暂住，当时讲明："以后房主回来要房，除非他们另有房屋居住，否则你们就要搬走。"王某夫妇表示同意，将该房屋稍加修理，便搬进居住至1976年5月。因该房屋确实破烂不堪，王某夫妇未经居委会和市房管部门同意，也未告知房主卢某，便将房屋翻盖一新。后来，卢某发现自己的房屋被侵占改建，予1985年向人民法院提起诉讼，要求保护房屋所有权。对此房屋所有权的归属，下列说法中正确的是（）。