孙奇逢初到辉县的生活极其贫苦。他四月二十八日到辉县，六月二十六日，写下《绝薪》一诗：“近山时有绝薪时，买米归来爨（cuàn）已迟。五十余年识一字，朝餐及午亦忘饥。”（见《日谱》卷二）这是说已经到了等柴入灶、等米下锅的艰难光景。
七月份，孙奇逢移居共城城里，借民室而居。回想前一段流水行云般的生活，他在自己住室的门额上题字曰“留云舍”。在柱子上题对联：“半亩亭台唯种月，一家生计只依云。”（《年谱》第37页）
生活越来越清贫，到了以野菜充饥的地步。孙奇逢又身患胃病，原本是离不得药的。现在连饭都吃不上，哪里还谈得上服药呢？但孙奇逢并不悲观，一方面，他认为这里再清贫，也要比北城老家好一些，“薪绝停朝药，粮赊减夜餐。儿童相视笑，此际得清安。”（见《日谱》卷二）最其码要太平一些。因此，他抱着知足常乐的态度，苦中寻乐，自得其乐，从而做到了贫而乐。另一方面，他把这种艰苦当作磨炼自己的好机会。他深有体会地说：“粮绝方知蔬食美”。（见《夏峰集》第390页）又说到，我五十年时间才真正认识一个“贫”字，如今我等着和我有共同志向的人，深入其境，去品尝这种滋味。王余佑（著名学者，受业于孙奇逢，自号五公山人，卒后，学者们私谥文节先生）表示愿意和他一起过清贫生活，孙奇逢高兴地将他留了下来，并将书斋题名为“共饥斋”。（见《日谱》卷四）
福无双至，祸不单行。孙奇逢来到辉县的第二年，即顺治八年（1651）四月十九日，他的续娶之妻杨氏因久病不愈而卒于共城旅舍。更糟的是，孙奇逢田无一分，地无一垄，竟然没有下葬杨氏之处。直到六月时，水部副使（掌管水利之官）马光裕将夏峰村的田地赠与孙奇逢，他才将杨氏寄葬于“城东南十二里夏峰村之东南隅。”（见《日谱》卷四）
顺治九年（1652）春，马光裕又将夏峰村的房舍赠给了孙奇逢。至此，孙奇逢一家的生活，才开始安定下来。马光裕为顺治七年（1650）进士，顺治八年（1651）为水部副使，后升为吏部稽勋司员外郎。他初来河南为官时，见河南人少田荒，便雇人在辉县夏峰一带开垦荒地，建造房屋，从而有田地10余顷，宅舍一区。他先以田地百亩赠给孙奇逢。顺治九年，他见到四方学者不断来从孙奇逢就学，而无有适宜之所，便又将房（1652）舍一并赠给了孙奇逢。孙奇逢对此十分感激。马光裕去官后回归老家山西安邑，两人仍书信来往，赠诗不断。
孙奇逢是顺治九年（1652）十月由共城旅舍移居夏峰村的。对于马光裕所赠的百亩田地，他让儿子孙韵雅率众督促治理，自己也随时耕耘，以保温饱，以佐读书，而目还要借此来建成孝悌家风，垂范乡里。
从此之后，孙奇逢扎根在这块黄土地上，安身立命著书立说，讲学论道。真个是：前朝公车不赴，国朝征不起，“垂老凄泊苏门”（见《日谱》卷九），过着似隐非隐的读书讲学生活。
孙奇逢从明朝灭亡（1644）到清顺治九年（1652）移居夏峰村，前后长达七八年的时间，都过着漂泊不定、云回雁转的生活。尤其是刚到辉县共城至移居夏峰村之前的近两年时间，是他一生中生活最为艰难的一段历史。移居夏峰村后直至他逝世，共有23年多时间他都在夏峰村居住，加上刚到辉县的近两年时间，他共在辉居住了25年：这25年的时间里，他所做事情，概括起来，就是“讲学授徒，著书立说”八个字。即便是有过几次短期访游，也多与此有关。因此，在这个时期里，他不仅教出了许多学生，而且在学术上也结下了丰硕的果实。孙奇逢的一生尤其是晚年生活的重要内容，是“一室中，二三同志，从容答问”式的讲学（见《汤子遗书》卷一《语录》）。他的门人很多，仅从《夏峰年谱》中粗略统计，有案可查者，就将近200人。另外的，则不计其数。他20多岁即开始讲学授徒，著名的学者薛凤柞、贾三槐、贾尔霖就是他最早学授徒的学生。在来夏峰之前，或家居，或为避灾祸迁居异地，都有士子跟随求学。即便是在南迁苏门的路途之中，随时随地都有人“贽称弟子”（即带着礼物前来拜师）。再后来，或云停苏门，或云居共城。特别是他移居夏峰村后，从学者、遥拜称弟子者络绎不绝，逐年增多。有大（即大官职之人）归老于家后又拜孙奇逢为师称弟子者；有千里迢迢送子到夏峰跟随求学者；有朝中公卿大夫出使某地过苏门时，让骑马驾车的随从退避，自己只身一人去一见先生为快者。上自公卿大臣，下及儒生隐士，近自畿辅（即京城周围）、河洛，远自齐、鲁、晋、楚、吴、越之间，有志于学习的人，无不负笈从游（即背着书箱前来求学）。至于“四方学士，负发抠衣，公卿牧守，拥慧乞言者，也不乏其人。（是说“四方的学者，背着书箱，提着衣服的前襟，恭恭敬敬地拜倒在地；朝中的高官，州郡的长官，来到孙奇逢处，扫地抹桌，以乞求给自己有所教诲。”见《汤子遗书》卷八）此外，还有不及前来，而投书问道者，也深受孙奇逢思想的熏陶。
孙奇逢去世后，他的门人弟子当中中进士者颇多，官至丞（县丞，为县令副贰）、令（知县）、牧（知州）、守（太守，为一郡最高长官）者亦不少。有的官至少詹事（正四品），负责教导太子。有的则官至礼部尚书、兵部尚书、工部尚书等。孙奇逢的思想，则通过其门人弟子，而影响社会，乃及于朝政。因此，孙奇逢是一个不曾有官位而能力及时策、影响深远的重要思想家。