Liquid Neural Networksとは？挙動が動的に変わる次世代AI推論

Liquid Neural Networks（LNN）は、推論中に各ニューロンの時定数（time-constant）が入力に応じて変化し、ネットワークの挙動そのものを動的に適応させる連続時間型のニューラルネットワークである。 大規模言語モデルのように知識を生成する技術ではなく、時系列データや制御タスクを少ない計算資源で頑健に処理することを得意とする。まずは定義と、従来モデルとの根本的な違いから整理する。

LNNは、各ニューロンの応答速度を決める「時定数」が固定値ではなく、入力に応じて連続的に変化する点を特徴とするニューラルネットワークである。この時定数が水のように流動的に変わることが「Liquid（液体）」という名称の由来になっている。

技術的な原型は、MIT CSAILのRamin Hasani、Mathias Lechner、Daniela Rusらが提案した「Liquid Time-Constant Networks（LTC）」である（arXiv:2006.04439、AAAI 2021）。線虫C. elegansの神経回路が、わずか数百個のニューロンで環境変化に頑健に適応する仕組みから着想を得ており、生物の神経ダイナミクスを微分方程式で表現した点に新しさがある。

その後、学習を高速化するためにODEの数値解法を閉形式で近似したCfC（Closed-form Continuous-time）モデルも提案され、LNNの実用化を後押ししている。少数のニューロンで構成されるため各ニューロンの役割を追いやすく、解釈性の高さも特徴として挙げられる。

従来のニューラルネットワーク（CNNやLSTMなど）は、学習が終わると重みもネットワークの挙動も固定され、推論時には常に同じ計算を繰り返す。LNNも学習済みの重み自体は推論時に固定されるが、決定的に異なるのは、各ニューロンの実効的な時定数が入力ごとに変化し、ネットワークの「振る舞い方」がリアルタイムに変わる点である。

つまり「推論時に重みが再学習される」のではなく、固定された重みの効き方（ダイナミクス）が時定数を通じて変化する、と理解するのが正確である。

LNNの研究背景には、2つの流れがある。1つは、Neural ODE（Chenら、2018）に代表される「ニューラルネットワークを連続時間の微分方程式として捉える」アプローチの発展である。もう1つは、生物の神経系から学ぶ試みで、約300個のニューロンしか持たない線虫が複雑な行動を実現する仕組みを工学的に再現しようとする動機である。

MIT CSAILの研究チーム（Hasani、Lechner、Rus、Aminiら）は、少ないニューロン数で高い表現力と解釈性、そして環境変化への頑健性を同時に得ることを目標に掲げた。この「小さく、頑健で、説明しやすい」という設計思想が、後述するエッジAIや自律制御との相性のよさにつながっている。

LNNが注目される理由は、(1)少ないパラメータで高い表現力を持つこと、(2)学習時に見ていない状況（分布外）への頑健性、(3)エッジ環境への適性、の3点に集約される。 いずれも、従来の静的なパラメータモデルが抱える課題の裏返しである。

従来の静的パラメータモデルは、学習時のデータ分布に最適化されるため、本番環境でデータの傾向が変わる「分布シフト」に弱い。状況が変わるたびに再学習やファインチューニングが必要になり、運用コストが膨らむ。

また、表現力を高めるためにパラメータ数を増やす方向に進みがちで、モデルが肥大化する。時々刻々と変化するセンサー信号や制御対象のように、ダイナミクスそのものが変わり続けるタスクでは、固定的な関数近似では追従しきれない場面が出てくる。LNNはこの「変化への追従」を、時定数の動的変化という形でアーキテクチャに組み込んでいる。

入力に応じて時定数が変わることで、ネットワークは入力ごとに「どれだけ素早く反応するか」を調整できる。これにより、時系列予測や制御タスクで、固定的なモデルよりも滑らかで安定した出力が得られやすい。

顕著な例が、MITによる自律飛行の研究である（Science Robotics, 2023）。夏の森林で学習したドローンの制御エージェントを、冬や都市環境といった未知の状況にそのまま展開しても、ファインチューニングなしでタスクを遂行できた。従来モデルより軌道のドリフトが小さく、遮蔽や回転に対する頑健性が高いことも報告されている。

LNNがエッジAI推論と相性がよいのは、モデルが非常にコンパクトだからである。少数のニューロンで成立するため、メモリと計算量が小さく、オンデバイスでの推論に向く。Hasaniは、LNNなら「Raspberry Pi上でも車を運転させられる」と述べており、組み込み機器での実行可能性を示している。

さらに、連続時間モデルであるため、サンプリング間隔が不規則なセンサーデータも自然に扱える。クラウドに送らずに端末側でリアルタイム判断したい制御・監視用途で、LNNの軽量さと頑健さが活きる。オンデバイス推論の全体像については、当社のエッジAI解説記事も参照されたい。

LNNの仕組みの核は、「液体時定数」と「常微分方程式（ODE）ベースの連続時間ダイナミクス」の2つである。 ここでは数式の詳細には深入りせず、何がどう動いているのかを直感的に整理する。

時定数とは、ニューロンが入力に対してどれだけ速く（あるいは遅く）反応するかを決めるパラメータである。一般的なモデルではこれは固定だが、LNNでは実効的な時定数が入力と現在の状態に応じて変化する。

直感的には、変化の速い入力には素早く反応し、ゆるやかな入力にはゆっくり追従する、というように、状況に合わせて応答の「テンポ」を切り替えられる。この可変性が「液体（liquid）」という言葉で表現されている。重要なのは、変わるのは時定数＝応答の仕方であって、学習で獲得した重みそのものが推論中に書き換わるわけではない、という点である。

LNNでは、ニューロンの隠れ状態が時間とともにどう変化するかを常微分方程式（ODE）で記述する。離散的な層を積み重ねる従来のネットワークと異なり、状態は連続時間で変化し、数値ソルバーによって積分して求める。この点でLNNはNeural ODEの系譜に位置づけられる。

連続時間で状態を表現する利点は、観測のタイミングが等間隔でなくても扱えることにある。実世界のセンサーやイベントは不規則な間隔で届くことが多いため、この性質は時系列・制御タスクで実用的な強みになる。

一方で、状態を数値積分で求めるため、解法（ソルバー）の選び方によって計算コストと精度のバランスが変わる。ステップ幅を細かくすれば精度は上がるが計算は重くなる。この調整は、特にエッジ機器での実装において実用上の検討ポイントになる。

推論時の流れは、おおむね次のように進む。(1)入力と現在の隠れ状態を受け取る。(2)内部のニューラルネットワークが、状態の変化率と、その時点での入力依存の時定数を計算する。(3)ODEソルバーがこれを積分し、隠れ状態を更新する。(4)更新された状態から出力を得る。

このサイクルの各ステップで時定数が入力に応じて再計算されるため、ネットワークの挙動が動的に変わる。一方、これらの計算に使われる重みは学習時に決まったまま固定されている。したがって「動的」という言葉は、重みの自己更新ではなく、固定された重みのもとでの応答ダイナミクスの変化を指す。

LNNは、時系列・センサーデータ処理や、自律走行・ロボティクスといった制御系のタスクで特に力を発揮する。 大規模な知識生成ではなく、変化し続ける入力にリアルタイムで適応する用途が主戦場である。

連続時間で状態を扱うLNNは、サンプリング間隔が不規則なデータや、長期にわたって傾向が変わる信号の処理に向く。具体的には、産業機器のセンサー監視、生体信号（心拍・脳波など）の解析、金融時系列の予測などが候補になる。

Hasaniらも、時間とともに変化するデータストリームに基づく意思決定—たとえば医療診断や自律運転—への応用可能性を挙げている。重要なのは、ノイズや状況変化に対して挙動を柔軟に調整できる点で、固定的なモデルが苦手とする「動く対象」への追従が期待できる。

たとえば、製造ラインの振動センサーから異常の予兆を捉える予知保全や、ウェアラブル機器の生体信号から状態変化を検知する用途は、入力のテンポが一定でない点でLNNの特性と噛み合う。逆に、画像分類のように時間構造を持たない静的なタスクでは、LNNの動的性の利点は活きにくい。

最も知られた実装事例が、MITによるドローンの自律飛行である。視覚を頼りに対象へ飛行するタスクで、LNNベースのエージェントは、学習時に見ていない未知の環境でもファインチューニングなしに安定して飛行できた（MIT News, 2023）。

範囲・回転・遮蔽に対する頑健性テストや動的なターゲット追跡で、従来のニューラルネットワークより軌道のドリフトが少なかったと報告されている。前述のとおり「Raspberry Pi上で車を運転」できるほど軽量に実装できるため、計算資源の限られたロボットや車載システムでの制御に適している。

LNNは、入力に応じてダイナミクスが適応するため、学習した環境とは異なる状況へ、再学習なしにある程度一般化できる。ドローンが夏の森林から冬や都市へ展開できた例は、この「分布外への頑健性」を示している。

ただし注意したいのは、これは「応答ダイナミクスの適応」であって、「新しいタスクをゼロから学習する」こととは異なる点である。重みは固定されているため、まったく別の問題を解けるようになるわけではない。あくまで、学習済みの能力の範囲内で、状況変化に頑健に対応できる、と理解するのが正確である。

LNNは大規模な言語生成ではTransformerに及ばないが、連続時間の制御・時系列処理、少ない計算資源、分布外への頑健性で独自の強みを持つ。 競合というより、得意領域が異なる補完的なアーキテクチャと捉えるとよい。

Transformerは自己注意機構により広いコンテキストを並列に処理でき、言語や大規模系列タスクで高い性能を発揮する。一方で多くのパラメータを要し、推論時の挙動は固定される。LNNは連続時間の再帰構造で、コンパクトかつ入力に応じて挙動が変わる。

また、LNNは状態を逐次更新する再帰型のため、Transformerのような大規模並列学習には向かない。スケール志向か、軽量・適応志向かという設計思想の違いが、両者の使い分けを決める。どちらが優れているかではなく、タスクの性質で使い分けるのが現実的である。

スパースモデルやMoE（Mixture of Experts）は、パラメータの一部だけを選択的に活性化することで、大規模モデルの計算効率を高める手法である。主眼は「巨大なモデルをいかに効率よくスケールさせるか」にある。

これに対しLNNが扱うのは、時間方向の適応性という別の軸である。条件付き計算でパラメータを使い分けるMoEと、連続時間ダイナミクスで挙動を変えるLNNは、目的が異なり直接の競合ではない。理屈の上では、効率的なスケーリングと時間的な適応性を組み合わせる方向もありうる。

LNNには「汎用LLMの代替である」「動的だから学習が不要」という2つの代表的な誤解がある。 どちらもLNNの本質を取り違えたもので、導入判断を誤らせやすいので整理しておく。

LNNは汎用的な大規模言語モデルの代替ではない。文章生成や知識質問応答のような、広範な言語理解を必要とするタスクはLLMの領分である。LNNの強みは、変化し続ける入力をリアルタイムに処理する制御・時系列タスクにある。

両者は同じ土俵で競うものではなく、役割が異なる。たとえば、端末側のセンサー制御をLNN、自然言語による指示理解をLLMが担うといった組み合わせも考えられる。「LNNがLLMを置き換える」という前提で検討を始めると、適用先を見誤る。

実務では、まず解きたい課題が「逐次変化する入力への適応」なのか「広範な知識・言語処理」なのかを切り分けることが、アーキテクチャ選定の出発点になる。

「動的」という言葉から「学習が不要」と受け取るのは誤解である。LNNも、重み（パラメータθ）を獲得するための学習は通常どおり必要であり、データから訓練しなければ機能しない。

推論時に変化するのは各ニューロンの時定数＝応答の仕方であって、学習済みの重みが自動的に書き換わるわけではない。つまり「学習で土台を作り、推論時には固定された土台の上で挙動を柔軟に変える」のがLNNである。この区別を押さえておかないと、「使えば勝手に賢くなる」といった過剰な期待につながりやすい。

LNNを学び始めるなら、まずは小さな時系列・制御タスクで、LSTMなどの既存手法と比較するのが近道である。実装面では、Neural Circuit Policies（ncps）などのオープンソースライブラリがPyTorch向けに公開されており、LTCや、学習を高速化した派生のCfC（Closed-form Continuous-time）モデルを試せる。

理論的背景を押さえたい場合は、原典であるLiquid Time-constant Networks（arXiv:2006.04439）やMIT CSAILの公開情報が出発点になる。まずは既存モデルで頭打ちになっている「変化への追従」や「分布外での頑健性」という課題に、LNNが効くかを小さく検証するとよい。

検証では、精度だけでなく、推論レイテンシ・メモリ使用量・分布外データでの安定性を、既存手法と同じ条件で比較するとよい。エッジ実装を見据えるなら、目標とするハードウェア上で実際に動かして資源制約を早期に確認することが、後戻りを防ぐ。

当社では、エッジ環境での推論やセンサーデータ活用を含む、AI導入の技術選定から実装までを支援している。LNNが自社の課題に適合するかの検討から、お気軽にご相談いただきたい。