子育て世代は都外「流出」、生活コスト高騰「住み続けるのはとても無理」…「成長のエンジン」弱まる懸念