This comes almost completely from Rav Yerucham Olshin’s ירח למואדים on סוכות, volume ב, סימנים סא and סג.
After בני ישראל leave Egypt, we see the first appearance of the ענני הכבוד as the pillar of cloud:
כא וה׳ הלך לפניהם יומם בעמוד ענן לנחתם הדרך ולילה בעמוד אש להאיר להם ללכת יומם ולילה׃ כב לא ימיש עמוד הענן יומם ועמוד האש לילה לפני העם׃
לא ימיש עמוד הענן יומם sounds pretty straightforward—the cloud never left, but the Vilna Gaon looks at a later incident and understands it differently.
After the sin of the Golden Calf, Moshe prays for forgiveness and ה׳ tells him:
ויאמר הנה אנכי כרת ברית נגד כל עמך אעשה נפלאת אשר לא נבראו בכל הארץ ובכל הגוים; וראה כל העם אשר אתה בקרבו את מעשה ה׳ כי נורא הוא אשר אני עשה עמך׃
The Vilna Gaon (based on a number of other sources) explains what the נפלאת are:
וז״ש נגד
כל עמך אעשה נפלאות אשר לא נבראו בכל הארץ והוא שריית הענן על המשכן והכבוד שורה
עליהם לעין כל והולך לפניהם לעין כל כמ״ש אשר עין בעין נראה אתה וגו׳ ועננך כו׳ עד
שתמהו כל האומות עליהם ואמרו מי זאת עולה מן המדבר כתימרות עשן כו׳ וכמ״ש בסוף
פקודי וכבוד ה׳ מלא כו׳ כי ענן ה׳ על המשכן כו׳ ואף שהלך הענן לפניהם ביציאתו ממצרים
לא היה אלא לשעתו על הים וגם לא היה לעיני כל ישראל רק לפני הנביאים שבהם משא״כ
כאן.
יג ויאמר משה אל ה׳; ושמעו מצרים כי העלית בכחך את העם הזה מקרבו׃ יד ואמרו אל יושב הארץ הזאת שמעו כי אתה ה׳ בקרב העם הזה; אשר עין בעין נראה אתה ה׳ ועננך עמד עלהם ובעמד ענן אתה הלך לפניהם יומם ובעמוד אש לילה׃
ו מי זאת עלה מן המדבר כתימרות עשן; מקטרת מר ולבונה מכל אבקת רוכל׃
ז הנה מטתו שלשלמה ששים גברים סביב לה; מגברי ישראל׃
מי זאת עלה מן המדבר: כשהייתי מהלכת במדבר והיה עמוד האש והענן הולכים לפני והורגים נחשים ועקרבים ושורפין הקוצים והברקנים לעשות הדרך מישור והיה הענן והעשן עולין ורואין אותן האומות ומתמיהות על גדולתי ואומרות מי זאת כלומר כמה גדולה היא זאת העולה מן המדבר וגומר כתימרות עשן גבוה וזקוף כתמר.
לד ויכס הענן את אהל מועד; וכבוד ה׳ מלא את המשכן׃
לה ולא יכל משה לבוא אל אהל מועד כי שכן עליו הענן; וכבוד ה׳ מלא את המשכן׃
לו ובהעלות הענן מעל המשכן יסעו בני ישראל בכל מסעיהם׃
לז ואם לא יעלה הענן ולא יסעו עד יום העלתו׃
לח כי ענן ה׳ על המשכן יומם ואש תהיה לילה בו לעיני כל בית ישראל בכל מסעיהם׃
So the cloud was with them through the splitting of the Red Sea, then returned after the יום כפור when they were forgiven for the Golden Calf.
But that contradicts the text later in Nechemiah:
יא והים בקעת לפניהם ויעברו בתוך הים ביבשה; ואת רדפיהם השלכת במצולת כמו אבן במים עזים׃
יב ובעמוד ענן הנחיתם יומם; ובעמוד אש לילה להאיר להם את הדרך אשר ילכו בה׃
… יח אף כי עשו להם עגל מסכה ויאמרו זה אלהיך אשר העלך ממצרים; ויעשו נאצות גדלות׃
יט ואתה ברחמיך הרבים לא עזבתם במדבר; את עמוד הענן לא סר מעליהם ביומם להנחתם בהדרך ואת עמוד האש בלילה להאיר להם ואת הדרך אשר ילכו בה׃
What’s more, the Vilna Gaon contradicts himself. He famously explains why we celebrate סכות in Tishrei, not Nisan:
מא וחגתם אתו חג לה׳ שבעת ימים בשנה; חקת עולם לדרתיכם בחדש השביעי תחגו אתו׃
מב בסכת תשבו שבעת ימים; כל האזרח בישראל ישבו בסכת׃
מג למען ידעו דרתיכם כי בסכות הושבתי את בני ישראל בהוציאי אותם מארץ מצרים; אני ה׳ אלהיכם׃
והסוכות שאומר הכתוב שהושיבנו בהם הם ענני כבודו שהקיפן בהם לבל יכה בהם שרב ושמש ודוגמא לזה צונו לעשות סוכות כדי שנזכור נפלאותיו ונוראותיו.
סוכות בתשרי כוון שהוא נגד היקף
ענני כבוד היה ראוי לעשות בניסן כי בניסן היה תחילת היקף עננים. אכל נראה לפי
שכשעשו את העגל נסתלקו העננים ואז לא חזרו עד שהתחילו לעשות המשכן. ומשה
ירד ביוה״כ…ובט״ו התחילו לעשות. ואז חזרו ענני כבוד ולכך אנו
עושין סוכות בט״ו בתשרי.
So here the Vilna Gaon says the clouds left after the sin of the Golden Calf (to return after יום כפור as above). The Gaon was pretty smart, so does he think the ענני הכבוד were with בני ישראל throughout (as in נחמיה), left after קריעת ים סוף (as in שמות) or after חטא העגל (as in שיר השירים)?
Rabbi Olshin answers, of course, yes. But that involves trying to understand the meaning of the ענני הכבוד. We have to take midrashim seriously, not literally, as the Gra points out when he says לא היה לעיני כל ישראל רק לפני הנביאים שבהם. They weren’t physical rain clouds, but the manifestation of כבוד ה׳, the presence of ה׳ in the physical world:
שנאמר: ביום השלישי וירא את המקום מרחוק. מה ראה? ראה ענן קשור בהר. אמר: דומה שאותו מקום שאמר לי הקב״ה להקריב את בני שם.
אמר ליצחק בני רואה את מה שאני רואה א״ל הין אמר לשני נעריו רואים אתם מה שאני רואה אמרו לו לאו אמר הואיל וחמור אינו רואה ואתם אין אתם רואים שבו לכם פה עם החמור.
And there were multiple clouds:
לג ויסעו מהר ה׳ דרך שלשת ימים; וארון ברית ה׳ נסע לפניהם דרך שלשת ימים לתור להם מנוחה׃
לד וענן ה׳ עליהם יומם בנסעם מן המחנה׃
שבעה עננים כתובים במסעיהם. ארבע מארבע רוחות, ואחד למעלה, ואחד למטה, ואחד לפניהם מנמיך את הגבוה ומגביה את הנמוך והורג נחשים ועקרבים.
Rabbi Olshin cites הכתב והקבלה on a seemingly unrelated side point. Why don’t we require a floor in the סוכה?
וכתב הרא״ם שם [במדבר י:לד] לא ידעתי מה פירוש אחד מלמטה דקאמר שמורה שענן אחד היה להם למטה מרגליהם, ואם הדבר כן מדוע לא צותה התורה לעשות בסוכה אחד מלמעלה ואחד מלמטה וד׳ מארבע רוחותיה, מאחר שהסוכה אינה אלא דוגמת העננים שהיו מסבבים את ישראל מלמעלה ומלמטה ומד׳ רוחותיהן.
וראוי שיהא גם למטה דפים מרוצף (עיין סימן תרכה באשל אברהם), זכר לעננים, וגם משום כבוד קרקע לאשוויי גומות ביום טוב ושבת.
It’s because we are misinterpreting אחד מלמטה:
ובילקוט ס״פ פקודי, ויכס הענן את אהל מועד, זה אחד מענני כבוד ששימשו את ישראל במדבר ארבעים שנה אחד בימינם ואחד בשמאלם אחד מלפניהם ואחד מאחריהם ואחד למעלה מהם וענן שכינה ביניהם ועמוד ענן נוסע לפניהם משפיל לפניהם את הגבוה ומגביה להם את השפל והורג נחשים ועקרבים ושורף קוצים וברקנים ומדריכם בדרך ישרה, וענן שכינה שורה באהל, ע״כ. מבואר בזה כי אחד מלמטה שאמר הספרי אינו תחת כפות רגליהם כ״א הענן שהיה באהל ביניהם, וזה נקרא מלמטה נגד הענן שעליהם מלמעלה, הנה נגד זה מה שביניהם נעשה דוגמתו בקיום מצות ישיבה בחלל הסוכה שבין הדפנות.
That’s a profound reinterpretation of what sitting in a סוכה means. We’re not just surrounded by ה׳'s presence, we’re supposed to feel that we are actually in it. But Rabbi Olshin picks up on the idea that the ענני הכבוד represent multiple things, that there are levels of our experience of the manifestation of the divine (that’s my words, not his, and much of the following is my extrapolation from his words).
There’s the ענן of the שכינה, the intense awareness of G-d’s presence, what Rudolph Otto called the numinous. At יציאת מצרים, the Jews felt that, and they kept that through קריעת ים סוף:
עזי וזמרת י־ה ויהי לי
לישועה; זה א־לי ואנוהו אלקי
אבי וארממנהו׃
זה א־לי: בכבודו נגלה עליהם והיו מראין אותו באצבע, ראתה שפחה על הים מה שלא ראו נביאים.
But it dissipated, not because they did anything wrong, but because it is impossible for a human being to remain at that level all the time.
ויסע משה את ישראל מים סוף ויצאו אל מדבר שור; וילכו שלשת ימים במדבר ולא מצאו מים׃
דורשי רשומות אומרים אלו דברי תורה שנמשלו במים שנאמר ”הוי כל צמא לכו למים“ (ישעיה נה:א) לפי שפירשו מדברי תורה שלשת ימים לכך מרדו לפיכך התקינו להם נביאים שביניהם שיהיו קוראין בתורה [בשבת] בשני ובחמישי.
And the sense of the שכינה would return, but it would be localized to the משכן.
There’s another level of feeling ה׳'s presence, an awareness of His protection and involvement in our lives. Call that the עננים of השגחה פרטית, the ones that surrounded בני ישראל on all sides and above. That they kept until the sin of the Golden Calf. In the aftermath of that, Moshe prayed that the people not be destroyed. ה׳ agreed, but said He would not deal with them again:
א וידבר ה׳ אל משה לך עלה מזה אתה והעם אשר העלית מארץ מצרים; אל הארץ אשר נשבעתי לאברהם ליצחק וליעקב לאמר לזרעך אתננה׃
ב ושלחתי לפניך מלאך; וגרשתי את הכנעני האמרי והחתי והפרזי החוי והיבוסי׃
ג אל ארץ זבת חלב ודבש; כי לא אעלה בקרבך כי עם קשה ערף אתה פן אכלך בדרך׃
They were left with the last ענן, one that guided them from a distance: ושלחתי לפניך מלאך.
ויסע מלאך האלקים ההלך לפני מחנה ישראל וילך מאחריהם; ויסע עמוד הענן מפניהם ויעמד מאחריהם׃
This ענן, the sense that ה׳ never abandons us and always provides direction and guidance, is the one that Nechamiah refers to: את עמוד הענן לא סר מעליהם ביומם להנחתם בהדרך.