公元1553年初，年屆不惑（41歲）的海瑞赴京會試，再次落第。“士君子由科目奮跡，皆得行志。奚必制科”，海瑞認為成就理想抱負不一定非要科舉及第才行，于是聽從吏部謁選派官，任南平縣教諭。
1553年至1557年，海瑞在南平任職4年多，可謂其任公職的開始，了解海瑞在這里任職的經歷，或許更能讓我們體悟這位被譽為“山筆架”“海筆架”的一代名臣清正廉明、剛直不阿的精神。
一
教諭是“正式教師”之意，宋代開始設置，負責教育生員。《明史·職官志四》中這樣記載：“儒學：府，教授一人，訓導四人。州，學正一人，訓導三人。縣，教諭一人，訓導二人。教授、學正、教諭，掌教誨所屬生員，訓導佐之。”
縣學教諭相當于縣辦公立學校的校長，在封建官制序列上，連“九品芝麻官”都算不上，但海瑞卻意識到了這個職位責任重大、使命光榮。他后來在《興革條例》中寫道：“教官掌一邑之教，門下皆凡民之秀，所事事比俗吏簿書詞訟不同。師道立，善人必多矣。于以推之，功效不淺。”
南平是當時延平府最大的縣，也是府治所在地。縣學位于縣城西北，歷史悠久，規模宏偉，設施齊全。但受當時一些不良社會風氣的影響，縣學風紀遭到嚴重破壞，學宮管理混亂，學生散漫、學業荒廢，生員中學業優秀者寥寥無幾。
初來乍到的海瑞見此情況，非常痛心，決心通過一系列教改來整飭學風。南平是朱子曾經求學問道的地方，理學淵源深厚，頗有朱子遺風。于是，海瑞依據朱熹在白鹿洞書院講學時所定的《學規》五條及輔漢卿在傳貽書院教學實踐中總結的“會粹六事”，結合自己在郡學讀書時的切身體驗和南平縣學的實際情況，制訂《教約》十六條，對生員在修身、處事、待人接物等方面都作了明確的規定，告誡生員要博學、審問、慎思、明辨、篤行。
海瑞將“《四書》《本經》《通鑒》，性理分為十二分”，根據生員的學習成績優劣及智力程度，因材施教。“諸生自量資力，次者減性理，再次者減《通鑒》，再次者減《本經》”，以此類推，實施針對性教學。對于生員的品德和學業的評定，“立大簿二扇，一稽德，一考學”，分別記錄生員平時品行的得失和學業成績，使“諸生失之前，宣補之后”。海瑞認為，這會對諸生起到約束作用，既能提高生員學業水平，還可以改變學風。
海瑞非常重視德育，始終將德育貫穿于整個教學中。在《教約》十六條中，涉及德育的就有十二條之多，而且都是先從小事講起，亦先從小事做起，要求生員對當時的“通弊”要一一改之，“勿以惡小而為之”。并且倡導道德與文章不可分離，“文也，所以寫吾意也”，文章要流露出作者的真實感情，反對生員硬套八股文，只求“講章墨卷”。他教導生員要善于自重，言談舉止都要以禮教和道德為標準。
海瑞還很注重生員的學以致用、理論聯系實際能力，而且希望他們時刻關注關系國計民生的事。他把邊防、水利等列入教學內容，“每月約討論一二”并“命策考試”，來提高生員認識社會和解決問題的能力，鼓勵生員對國家大事能“知無不言”。
二
海瑞，字汝賢，一字國開，自號剛峰。世人稱之為剛峰先生，形象地道出了他剛直如峰的性格。
當時的南平存在著走后門、托關系、請客送禮等不正之風。海瑞制定《教約》后，首先要求自己以身作則，以“嚴師自處”，規定師生應當一視同仁，老師應嚴格要求學生，學校也要嚴格要求老師，老師每月要有學問上的考核；老師絕對不允許收受任何學生及學生家長的禮物。特別是他規定學校教學的地方——明倫堂不許行跪之禮。并表示如果有人來怪罪，就說責任在于他。
海瑞任教諭的第二年，延平府的督學官到南平視察工作，并要在明倫堂接見學官。海瑞和兩名副手進入明倫堂后，兩名副手見到督學官都行跪拜禮，但海瑞按照自己訂的《教約》，站在二人中間，只作長揖。督學官先是驚訝，繼而語帶責問地說，你們看這三人，真像個山筆架放在這！
海瑞對這種責問的回答也義正辭嚴，引經據典，他直言，卑職行的是憲綱之禮。大明會典憲綱明文規定：教官乃朝廷設教之官，講經授史，教化風俗……是故教官參拜各官，可明倫堂不跪。此為人師表之地，作為教官下跪于明倫堂，今后怎么正己、正人呢？
這件事情在當時來說，屬驚世駭俗之舉。個性剛直的海瑞隨后便交了封辭呈，準備回家躬耕隴畝。“海筆架”的名聲由此傳開。后在福建提學副使朱衡的勸說與邀請下，海瑞暫時到福州正學書院修書，之后又回到南平繼續擔任教諭。
海瑞從此后也就被稱為“山筆架”“海筆架”。這一事件在《明史》本傳有明確記載。
三
在海瑞的苦心經營下，南平學名聞四方，學校名聲大震，有志于學業者從四面八方慕名而來，由此，學校也培養出了一批人才。
對縣學培養出的人才，海瑞十分看重，會親自歡送他們趕考。海瑞所寫《送諸生小試遇雨》一詩，就體現了他對學生的期待：“電掣雷鳴酣野戰，水吟龍嘯郁云興。山南月暗全無路，岸北沙明僅有燈。海內英雄今并起，江中波浪此憑陵。商霖散滿焦枯發，野色新添萬里青。”這首詩便是海瑞做教諭時，送學生赴試時所作。當時正遇到大風雨，海瑞即景而動了靈感。前四句寫電閃雷鳴，烏云密布，天地一片黑暗，表面上是營造了一個可怕的背景，而實際上是暗示著科考競爭之殘酷。接下來兩句語氣一轉，謂這是天下英雄并起競爭的時候，你們正好憑借著這江中的波浪，奮勇前行。該詩末聯用了一個典故，商王任用傅說為相時對他說：我們現在的時局就像連年大旱，請你來當宰相就是請你做甘霖，使大地復蘇。后世遂以“商霖”表示濟世之才。突遇大雨本來很讓人郁悶，但是大雨又能使干枯的植物重新碧綠起來，想想遍野生機勃勃的氣象，是多么激動人心啊！此詩是海瑞“得天下英才而教育之”的神圣使命感、責任感的形象寫照。
海瑞當時雖身在縣學，依舊心憂天下。驛傳是古代設置的一種供使臣出巡、官吏往來和傳遞詔令、文書等用的交通機構。海瑞了解到當時的驛傳給老百姓造成極大負擔后，便接連撰寫《驛傳申文》《驛傳議》等文章，呈送地方當局，敦促裁革驛傳之弊。他懷著深厚的同情述說了老百姓的狀況：“支應之苦，有因之投溪，因之自縊，破家亡產，比比皆然。”可是地方官員對此不聞不問，“坐視人之困苦衰疲，立有死亡而莫之救”。海瑞設問：“長人者何心？長人者以何為事而若此耶？”他一針見血地回答，因為“長人者”“不能克己，私貪成習”。海瑞認為，這種“私貪成習”的風氣，也使當局失掉抗倭御侮的能力。為此他深為憂慮：“萬一倭奴壓境，變出不測，尚可望為民一御侮耶！”
海瑞任教諭期間的1556年，長子中砥出生。此前，海瑞曾在《嚴師教戒》中自警：“財帛世界，無能矻中流之中砥柱乎！”此后，又在《興革條例》中慨嘆：“中流砥柱無其人，俗之所以日流而莫可止有由也。”為長子取名“中砥”，不僅表現了海瑞對孩子的期望，還表達了他自己的價值取向和人格理想。
嘉靖三十六年（1557年），海瑞在南平已經當了四年多教諭。鑒于他治教有方，得到了“巡按監司交章薦之”，后被授為浙江淳安縣知縣。
海瑞為官清正廉明，關心百姓疾苦。在南平任職時間雖不長，但當地人民懷念他，清乾隆十九年（1754年）為之修建“海公祠”，以永久紀念這位南方的“包青天”。海公祠在縣學明倫堂右，曾有海瑞手植雙檜。光緒二十八年（1902年），縣學遇火災，明倫堂、海公祠等尚存。民國后，裁撤縣學，其殘存建筑逐漸頹敗，歲月流轉，如今已無跡可尋，但海瑞精神永垂青史。（劉輝 葉維達）