－ズバッと！東大な日々。－　の、その後の日々。

前回の投稿から1年半以上も経ってしまいました…。

今日は、知り合い経由で情報を頂き、日本医科大学で開催された第28回日本シミュレーション外科学会という学会に一般聴衆として朝から1日見学に行ってきました。

小さな学会ということもあってか、感想レポートもあまり無いようですし、「シミュレーション外科」というだけあってひょっとしたら医師以外の研究者の方も興味を持たれるかもしれませんので、せっかくなので以下完全に個人の感想を箇条書きでざっと書き連ねておこうかと思います。

◆全体的な雰囲気
・「シミュレーション外科」と標榜しているものの、形成外科が主体で、ほとんど形成外科関連の演題。
・たまに脳外科、整形外科、非常に稀に泌尿器科の発表がある。
・「形成外科以外の先生もいらっしゃるかと思うので…」と、親切に説明して下さる先生もいるがそうでない先生もいる。
・一方で「医師以外の方もいらっしゃるかと思うので…」と、さらに親切に説明して下さる先生は皆無だった。
・ので、「医療全くわからないけど物理シミュレーションの研究していて興味があるので参加してみようかな」というような、非医療従事者には専門用語が意味不明ということもありそう。
・とはいえ、発表時間が1人6分だったり10分だったりという制約があるので仕方ない面もあるのかも？
・今回の大会会長によると「締切時の演題登録が3件しかなかった」そうで、正直盛り上がりは今一つな気もした（最終的には一般演題15（欠演1つ）、シンポジウム2つ（それぞれ5演題）ありました）。

◆目的臓器の抽出
・どの領域でもやはり医用画像からの目的臓器の抽出（segmentation）はかなり大変そうだった。手作業で1.5時間とか3時間とかも普通。
・一方で、面倒な手作業が、実は術前検討になっていて、とても勉強になる、ということもあるとのこと。
・これには強く同意で、僕も昔、木村カエラさんのMV制作に携わったときに、手作業でCTの胸腹部臓器を1つ1つ囲んだときに、横隔膜と肝臓と胃と脾臓の位置関係など、メチャクチャ勉強になりました。解剖実習を行う全ての医学生がCTを囲う作業をすべき、とすら思いました。
・一部界隈で盛り上がっているOsiriXをsegmentationに使っている先生は（たぶん）1人もいなかった。
・無料なら3D Slicer、有料ならSYNAPSE VINCENTまたはMaterialise Mimicsが圧倒的人気。
・Windows 10にプリインストールされている3D Builderを使われている先生が1人だけいらっしゃった。
・その質疑応答が印象的で「3D Builderのような一般のソフトウェアだと使いにくくないですか？」という質問に対して「10分くらいで作業出来てとても簡単でした。」という回答。
・「医者が使う専門的なソフトウェアの方が色々なことが出来るはずだから使いやすいはず」という先入観がたぶんあるのだと思うけど、これ、僕の感覚とは正反対で「医療ソフトウェアってUI全然考えられてなくて超絶使いにくいこと多いんですけど。一般向けのソフトウェアのほうがメチャメチャ考え抜かれたUIで遥かに使いやすいですよ！」というのが僕の印象だし、医者以外のソフトウェア関連研究者・開発者の共通意見かと思います。

◆無料ソフトウェアで頑張る先生たち
・DICOM画像を取得したあとは、3D Slicer（無料）で抽出して、Blender（無料）で加工してSTL作って、Unity（無料）で頑張ってプログラム書いて、HoloLensで表示します、みたいな先生も少なくなかった。
・で、「もうちょっと簡便な操作で一連の流れを出来るようにしたい」というような意見もあったけど、それは流石に都合良過ぎでしょう。無料ソフトウェアかき集めて全部やろうとしても、そりゃぁ限界があるのでは。
・もちろん、安価で出来ることは一つ大切な要素ですので、少しでも安価・簡便に出来る努力をすることはとても大事です。
・「個人で出来るものが欲しい」という意見は大賛成。医局の部屋にある専用のコンピュータ1台でしか動きません、みたいなソフトウェアだと、やはりあまり普及しないように思います。
・その境界線は難しいところですが、年間20万円くらいまでなら個人購入もありですかねぇ。Mayaとかもそれくらいの値段ですし、本当に良いソフトウェアであればこのくらいは許容して欲しいものです。

◆HoloLens
・HoloLensだけのシンポジウムがありました。
・開発環境は全員Unity + Vuforia。
・やっぱりUnreal Engineも何とかHoloLensに対応して欲しいものです。医療分野などの非ゲーム分野にも積極的に進出したいのではなかったのですか、Epic Gamesさん…。
・1時間以上装着していると酔いや不快感が出てくる、という共通意見。そりゃそうだ。特に整形外科手術で顔をすっぽり覆うマスクを被る場合には、手術途中での着脱が出来ないので、終始装着する必要があります。それは辛い…。
・「助手が適宜iPadかざす、とかじゃダメなんですか？」と聞いてみたら、「そうすると手元のデバイスが邪魔になる」と。確かに…。でもiPhone 2台とかでも行ける気もする。
・あと、計算速度との兼ね合いなどもあると思いますが、HoloLensでの表示に限らず、CG表示はほぼ全て「標準マテリアルで色だけ変えたもの」ばかりだったので、ここは大いに改善の余地があります。もうちょっとデザイナー的な観点を入れましょうよ。
・「奥行きの認識がしにくい」という意見については、もちろん解像度やDepthセンサーの精度など、ハードウェア的な改善点もありますが、色遣いも大いにあると正直思いました。

◆無影灯
・医療従事者以外は知らない単語かもしれませんが、手術室では手術時に術野に影が出来ないように、色々なところから光を当てるなどの工夫をする「無影灯」という照明器具を使います。
・これが、マーカー認識やマーカーレス認識の強敵となります。
・光が強すぎたり影が出来ないことによる特徴点不足で、位置の認識が出来なくなってしまうことがほとんどで、無影灯を消さないとAR表示出来ません、という事態が本当に多く発生します。
・これは、AR関係の先生方によって1つ研究テーマになるのではないかと思います。

◆撮影方法の工夫
・市販の消しゴムを切って身体にペタペタ貼り付けてCT取ると、CT値2000くらいで映って超安価簡易マーカーになるとのこと。凄い。
・野球肘の手術前の画像検討で、肘の部分の関節を見るときに、上腕骨、橈骨、尺骨がくっついて見えてしまうのを何とかするために、撮影時に腕を引っ張って少しでも骨（軟骨）を離す、という工夫をされている先生もいらっしゃいました。撮影時に何とか出来るのであれば積極的にそうするべきですね。
・脳溝とかも同様に出来れば良いのですが、頭蓋骨で囲まれてるし、流石に何も出来ないのが残念。

◆その他
・最近私は非医療系の学会に参加することが多く、情報系の学会では「え、なんで学会でスーツなんて着てるの？？」と言われることすらあるくらいで、普段着参加に慣れてしまっているので、医療系学会で何故か暗黙の了解になっているスーツ着用の意味が全く分かりませんでした。慣れって怖い。
・と、思っていたら大会会長の先生が「自分が会長の学会で一度「あの人」みたいな講演したかったんですよ～」とノリノリな雰囲気で、黒のタートルネックとジーパンで講演されていて、「うん、みんなこれで良いのでは？」と思いました。

ざっとこんな感じでした！

　
iPad上でインタラクティブ且つリアルタイムに操作可能な、3DCG心臓viewer “MacroView”を、2017年3月8日～3月9日に奈良で開催された、第3回多元計算解剖学国際シンポジウムにて発表致しました。

国立循環器病研究センターから兵庫県立大学に移られた原口亮先生のご研究の中で、今回のviewer制作のお仕事を頂きました。原口先生、本当にありがとうございます！

上記の映像は、iPad上の画面をそのまま動画キャプチャしたものです。PC上でのエミュレートではありません。

3DCGモデルは、MRI撮影された心臓マクロ標本から作成されています。

私は医用画像処理はほとんど素人でして、

・どのようにして医用画像から特定の臓器を出来るだけ正確且つ綺麗に抽出して3DCGモデルを作るか

ではなく、

・3DCG臓器モデルがあったときに、それをどのように見せれば臨床現場に役立つか

という部分を担当させて頂きました。

この2つは世間一般には同じものと思われてしまうことがほとんどなのですが、実は明確に異なります。
「ピアノそのものを作ること」と「出来上がったピアノを使って演奏すること」とは全く別物ですよね。
「3DCG臓器モデルを作ること」と「出来上がった3DCG臓器モデルを使って臨床現場に役立てること」とは全く別物なのです。

で、研究でこの手のソフトウェアを作る場合、openGLゴリゴリ、C++ゴリゴリ、などで0から作ることがメチャクチャ多いのですが、ガチな3DCG研究をするでもない限り、車輪の再発明は極めて非効率でして、
且つ、世の中何万円かのゲーム機で3DCGのキャラクターがグリグリ自由自在に動き回る時代です。
使えるものは使いましょう。

ということで、今回、リアルタイム3DCGエンジンの二大巨頭の1つであるUnreal Engine 4を使って、iPad用アプリを作りました。
実は昨年までは二大巨頭のもう1つ、Unityで作っていたのですが、今後、研究者用のC++ライブラリなども使ってさらなる拡張などをする可能性を考え、Unreal Engine 4で作り直し + 大幅な機能追加などを行いました。

繰り返しますが、上記の映像は、iPad上の画面をそのまま動画キャプチャしたものです。PC上でのエミュレートではありません。

制作において常に意識したのは、

・格好良いだけでは全く意味が無い
・とにかく医療現場で少しでも役立つように
・それでいて、使いやすいUIと、ワクワクするようなUXを出来るだけ頑張る

の3点です。

◆基本操作
基本操作はメチャクチャ大事ですね。何も意識せずに動かせるようにすることが最大のポイントです。

　
実はこの「何も意識せずに動かせるようにする」というのが結構大変で、Unreal EngineにしろUnityにしろ、
・iPadに指がタッチした、離れた、動いた
という情報は取得できるのですが、
・捻っている
・ピンチ操作をしている
・2本指が平行移動している
みたいなところまでは取得できません。各自が実装する必要があります。まぁ、アセットなども出ているみたいですので、お金でチャチャっと解決したい方はアセットでもある程度出来るのかもしれません。

◆Gyroscopeを用いた操作
iPadだったらやっぱりGyroscopeを使いたいわけです。Gyroscopeというのは、デバイスの回転を取得するセンサーです。

　
スクリーンキャプチャだけだと何やってるかわからないかもしれませんが、iPad本体をグリグリ回しています。

　
↑こんな感じ。

これを見せると、結構な数の方が、「これ、Oculusとかのヘッドマウントディスプレイでやったらもっと格好良いじゃん！」と仰るのですが、それ、全部嘘ですから。
何でもかんでもヘッドマウントディスプレイでVRで実装して「未来の医療！」とか言ってる人たちがいますけれども、皆さん、騙されてはいけませんよ！！！！

なぜかって？

ヘッドマウントディスプレイと同じことを再現するとこうなります。

　
わかりますか？ヘッドマウントディスプレイというのは、基本的には常に一人称視点なのです。これものすごく大事なことなのです。
皆さん、自分の目の前に何か見たいものがあって、それを触れてはいけない状況で横から、或いは後ろからみたいとき、どうしますか？自分が回り込みますよね？

ヘッドマウントディスプレイと同じことを現実世界で再現しようとするとどうなるでしょう？
目の前に見たいものがある状況で、自分が右向け右や回れ右をすることになります。全く意味ないですね。

こんな単純なことなのですが、割と多くの方が誤解されています。

外から全体像を見たいときは、ヘッドマウントディスプレイは極めて不向きなのです。
自分が臓器の内部にいて周囲を見渡したいというときに限り有効になります。
ですので、このMacroViewではどちらの方法にも切り替えられるようにしてあります。

但し、ヘッドマウントディスプレイが回転や加速度だけでなく、自分の絶対位置も取得できるようになるのであれば話は別です。
私は未だ使ったことがありませんが、HoloLensはそのあたりとても優秀なようですので、自分の位置まで取得できるようなものであれば、使用用途によってはヘッドマウントディスプレイが優れている場合も今後は増えてくることと思います。

◆内部を見たい
皆さんも左心房とか右心室とか、どこかで一度は習ったことがあるかと思います。
心臓というのは内部の立体構造が複雑でして、やっぱり内部を見たいわけです。

というわけで内部が見えるようにしました。

　
ここでもまた安易に考えると、「半透明にすれば良いじゃん！」と言われるのですが、本当に半透明が見やすいと思いますか？
色んなものが少しずつ見えるというのは実は多くの場合、とても見にくいのです。

というわけで、ここでは、「常に心臓の表面が消えて、皮を1枚剥がしたような状態で見える」ようにしてあります。
心臓の内部を見ながらも、心臓表面の輪郭も常に見えます。これは現実世界では絶対に表現できず、CGでしか出来ない方法です。

◆心エコーをやりたい
自分が研修医として心エコーをやっていた頃の経験談なのですが、心エコーって、あれよくわかりませんよね…。
いやもちろん訓練すれば手技としてはある程度出来るようにはなるのですが、なんでこうやって操作したらこう見えるのか、それを理解するためには、心臓内部の立体構造を平面で切ったらどのように見えるのかを徹底的に理解しなければいけません。
お肉屋さんで豚の心臓を丸ごと買ってきて包丁で切ってみたり、柔らかい素材で3Dプリンタ出力して切ってみれば断面がわかりますが、一度切ったらおしまいです。
連続的に断面がどう変化するのか、などは当然現実世界では再現できないわけで、ここでもCGでしか出来ない、リアルタイム擬似心エコーを作りました。

　
断面をグリグリ回転させたり、平行移動したりすることが出来ます。
で、この機能は、3DCG系のエンジニアだったら誰でも作れてしまうものなのですが、これだけでは医療現場では全然役立ちません。

何故かわかりますか？

この断面、画面上に表示されている小さい円を中心に動いているのですが、例えば経胸壁心エコーの場合、エコーのプローブと呼ばれるコントローラーは、体表上で動きます。
つまり、断面は心臓の外を中心に動くんですね。これを再現していないと全く意味のない断面が出来上がります。

だから、こうしました。

　
ひょっとするとこれはUI的にも新しい？のかも？？しれないのですが、マルチタッチが使えるというデバイスの特徴を最大限に活かし、
指を2本使って、1点を固定させてもう1点を動かすと、固定された点に回転中心が自動的に動いてくれます。
個人的にはとても直感的なUIだと思っています。

ただ、この操作を可能にするのは結構大変で、上記の基本操作の中に含まれる2本指の操作であるピンチや捻りなどと区別出来るようにしなければいけません。大変でした。

◆まとめ
と、言うわけで、今回は制作に込めた想いをきちんと書き出してみました。大手の医療機器メーカーや医療ソフトウェア会社の方が見たらすぐに盗めるものばかりですのでどこまで書くか迷いましたが、こうやって細かく書いておくことで、また新しい機会なども生まれれば良いなぁと思っております。

私が代表取締役の会社、株式会社サイアメントは「サイエンスを、正しく、楽しく。」を合言葉に、世間一般には格好良い医療CG映像を作る会社と思われていますが、せっかくリアルタイム3DCGが簡単に使えるようになってきた時代ですので、リアルタイム且つインタラクティブにグリグリ動かせて、且つ、時代の流行に振り回されることなく、医療現場で役立つ見せ方をきちんと丁寧に実装することで、医療にもっともっと貢献していきたい、と考えています。手術ミスを減らしたり、検査時間を短くしたり、3DCGを適切に使えば実現可能だと本気で思っております。

今回制作したviewerは、表示するモデルを変えれば何でも表示できます。先天性心疾患モデルを網羅したviewerが作れればとずっと思っておりますし、動く心臓モデルを使えば、動いている心臓でリアルタイム擬似心エコーも出来ます。
臓器抽出アルゴリズムの先生方が協力して下されば、患者さんごとの3DCGデータを使うことも出来るわけです。

ご興味を持って下さった方や、その他何でも、コメントやメールなど、お待ちしております！