甲、乙二人未领取结婚证同居生一儿子，被街道计划生育办公室知道后，以街道办事处名义处以5000罚款。甲以其不是这个市居民户口，街道办事处不应对其处罚为由向区政府申请行政复议。但区政府逾期未作出复议决定。甲如不服向法院起诉，下列说法中不正确的是（）。