Sotah8: 3
וְאֵלּוּ שֶׁאֵינָן חוֹזְרִין: הַבּוֹנֶה בֵית שַׁעַר, אַכְסַדְרָה, וּמַרְפֶּסֶת. הַנּוֹטֵעַ אַרְבָּעָה אִילָנֵי מַאֲכָל, וַחֲמִשָּׁה אִילָנֵי סְרָק. הַמַּחֲזִיר אֶת גְּרוּשָׁתוֹ, אַלְמָנָה לְכֹהֵן גָּדוֹל, גְּרוּשָׁה וַחֲלוּצָה לְכֹהֵן הֶדְיוֹט, מַמְזֶרֶת וּנְתִינָה לְיִשְׂרָאֵל, בַּת יִשְׂרָאֵל לְמַמְזֵר וּלְנָתִין — לֹא הָיָה חוֹזֵר. רַבִּי יְהוּדָה אוֹמֵר: אַף הַבּוֹנֶה בַיִת עַל מְכוֹנוֹ לֹא הָיָה חוֹזֵר. רַבִּי אֱלִיעֶזֶר אוֹמֵר, אַף הַבּוֹנֶה בֵית לְבֵנִים בַּשָּׁרוֹן לֹא הָיָה חוֹזֵר.
There are the ones who do not return: One who builds a gatehouse, colonnade, or gallery; one who plants but four fruits trees, or five trees that do not bear fruit; one who takes back his divorced wife; a widow to a Kohen Gadol, a divorcee or chalutzah to an ordinary Kohen, a mamzeress or a Nesinite to an Israelite, a mamzer or Nesinite who marries the daughter of an Israelite —- he did not return. R’ Yehudah says: One who rebuilds his house as it was before also does not return. R’ Eliezer says: One who builds a house of bricks in the Sharon also does not return.