陜西華陰西岳廟，始建于漢代，為歷代帝王祭祀華山之神的場所。現在的西岳廟里，有許多從各地搜集而來的古代石碑，其中，“關西夫子”碑，就是清代道光年間為紀念楊震而鑿刻的。
楊震作為經學名家，“以天下為己任”的責任感早已深植內心。“為國效命，救黎民于水火”，懷抱這樣的意愿，已年屆五十、到了知天命歲數的楊震，邁開了離別故鄉的腳步。
楊震被舉薦入仕后，品行端正、聲名清廉，幾年內已歷經數次升遷，東萊太守是他即將擔任的新職務。夜幕降臨，昌邑縣令王密來到了館驛，他是楊震在荊州刺史任上舉薦的人才。故舊相見，自然格外親切。一番寒暄過后，王密從隨身攜帶的行囊里，拿出一包東西，遞到了楊震面前，里面是沉甸甸的一份厚禮。對此，《后漢書？楊震列傳》里這樣寫道：“懷金十斤以遺震”。
得知包裹里放的是一份厚禮，楊震的臉色頓時沉了下來。王密見此急忙解釋：“我是趁夜晚時分前來拜訪的，這件事情絕不會有人知道。”王密以為，經過這一番解釋，楊震自然就會消除顧慮。出乎他的意料，楊震卻做出了振聾發聵的一番回答：“天知，神知，我知，子知。何謂無知！”這句話讓王密羞愧難當，更成為傳頌千古的名言。隨后，“四知”一詞作為頌揚官員高潔品行的代名詞被廣泛運用。
“清白傳家”成為楊震留給后人的另一份重要精神遺產。華陰市區楊家村，在一戶楊震后人的房子里，一面有著百年歷史的老墻被一直保留著，雖已基本喪失實用功能，但墻上的這片磚雕，對于楊氏家族而言卻是格外珍貴。
公元120年，已經六十多歲的楊震接任司徒一職。司徒和太尉、司空并稱“三公”，同屬東漢政權的最高行政官員。接任司徒的第二年，太后鄧綏去世，漢安帝劉祜親政，他身邊的一干親信開始把持朝政。公元124年，京城洛陽開始大興土木，負責工程的人是一位得寵宦官樊豐。此時，東漢政權的國力已經日漸衰落，不僅邊境戰事難以平息，災害導致的饑荒也時常蔓延。楊震因而屢屢進諫，卻一次次石沉大海。
經過調查，一個驚人的秘密呈現在楊震面前，京城大興土木竟然是樊豐假傳詔書而進行的。樊豐雖然是根據皇帝的心思去辦事，但假傳詔書是死罪一條，如果這一情況能讓朝廷上下知曉，大興土木的工程就難以進行下去。
于是，楊震立即上疏舉報。可沒想到的是，這一舉動給楊震帶來的卻是空前的災難——楊震上疏舉報的消息，很快就被耳目眾多的樊豐得知，隨即，他聯合另一位對楊震懷恨已久的宦官李閏，一同先行狀告楊震。
收到狀告楊震的奏疏后不久，劉祜啟程回到都城洛陽，當晚他就命人收回了楊震的官印。在宦官們的繼續誣告之下，皇帝又將楊震貶為庶人，詔令把他遣返華陰原籍。離開都城，前方路途漫漫，楊震傷懷于自己被誣告去職，更讓他難過的是人生的抱負無以實現。
天地自有清正，公道總在人心。告別家人后，楊震斷然飲下毒酒，終年70歲。正如楊震生前所期望，他傳給子孫的并非富足家產，而是“清白吏”的千古聲名。楊震自盡一年之后，漢安帝病亡，漢順帝繼位，楊震得以平反昭雪。
他的兒子楊秉先后出任豫、荊、徐、兗四州刺史，向來“計日受奉，余祿不入私門”。從楊震到兒子楊秉、孫子楊賜、曾孫楊彪，家族四代人一直清白為官，并都位列“三公”高位。唐代大詩人李白寫詩贊嘆：“關西楊伯起，漢日舊稱賢。四代三公族，清風播人天。”（田人隆）