著者：関口宏司

はじめに

Apache Hivemall を知ってますか？Apache Hivemall（以下、Hivemall）はその名が示すとおり、Apache Software Foundation（以下、ASF）のもとで開発が進められているオープンソース・ソフトウェア（以下、OSS）です。Hivemall は元々 Arm Treasure Data 社（以下、トレジャーデータ）が社内で開発していたソフトウェアですが、同社が2016年に ASF に寄贈し、ASF の育成プログラムである Apache Incubator プロジェクトの一部となったものです。

“Apache” ブランドを名乗ることができる ASF に所属する OSS といえば、Apache HTTP Server や Apache Tomcat などがありますが、これらはほとんどの方がご存知でしょう。それ以外にも私がコミッター／PMCメンバーを務める Apache Lucene/Solr（OSS の検索エンジン）や Apache OpenNLP（OSS の自然言語処理ツール）があります。これらは ASF におけるトップレベル・プロジェクト（よく TLP と省略されます）です。ASF に寄贈された OSS はいきなり TLP になることはできず、必ず育成プログラムである Apache Incubator にまずは所属します。ここで「Apache の流儀」がたたき込まれ、ASF に卒業が認められると晴れて TLP となることができます。Apache Incubator に所属する OSS プロジェクトには「メンター（師）」や「チャンピオン」と呼ばれる「先生」がつけられて”Apache 流”の OSS プロジェクト管理・運営方法を学ぶ機会が与えられます。

先日、私は縁あって、Hivemall のメンターに就任しました。前回の記事では ASF の全体的な組織運営について説明しましたが、本稿では Apache Incubator のしくみについて紹介したいと思います。

Apache Incubator とは

Apache Incubator （以下、Incubator）は、ASF 外で開発されたソースコードおよびその開発プロジェクトチームが ASF に加入しようとするときに（ソースコードの場合は加入というよりは「寄贈（donation）」という方がしっくりきますが）、必ず通過する場所として ASF が設けたものです。2002年という、ASF の歴史のかなり初期のころから開始された「育成プログラム」となります。ASF における OSS コミュニティの運営を自動車の運転にたとえれば、Incubator は「教習所」のようなところでしょうか。

Incubator は2つの大きな目標を掲げています。1つ目は、寄贈されたコードやドキュメントが、ASF の定める規約に沿っていることを確認することです。2つ目は、”Apache 流”のプロジェクト運営手続きを遵守する新しいコミュニティを構築することです。2番目の”Apache 流”のプロジェクト運営手続きについては、前回の記事を参照していただけばよいので、ここでは簡単に1番目について説明しましょう。

寄贈されたコードやドキュメントはもともと ASF の外で開発されたものです。あるソフトウェアは個人が集まったグループが開発したものかもしれませんし、またあるソフトウェアは会社のバックアップがあって作成されたものかもしれません。これらのソースコードやドキュメント類は知的財産となるので、知的財産が ASF に寄贈されることを、開発者個人やその雇用主が同意していないと、あとあと紛争の原因になってしまいます。そこで ASF 入りしようとする個人やその雇用主は ASF が用意するライセンス契約書にサインする必要があります。この契約書にサインして ASF にてファイルされるまでは、ASF のソースコード管理システムのコミット権が与えられません。

Incubator と似た言葉で podling（ポッドリング）と呼ばれるものがあります。これは「（エンドウなどの）さや」や「繭（まゆ）」を意味する pod と、fledgling（青二才やひな鳥などの意味）、nestling（同じくひなの意味）、duckling（子ガモ）などの単語に現れる「幼い」ことを意味する接尾辞 ling を組み合わせて作られた造語であり、Incubator に所属する個々のプロジェクトやコミュニティを指します。たとえば、Hivemall は Incubator に所属するポッドリングの1つです。

Apache Incubator, Apache, the Apache feather logo, and the Apache Incubator project logo are trademarks of The Apache Software Foundation.

上図は Incubator のロゴですが、Apache のフェザー（feather; 羽）が卵形のコンテナ（pod）にくるまれて、これから成長を予感させる雰囲気が良く出ていると思います（pod の中の羽が通常の ASF ロゴの羽より柔らかそうなひな鳥の羽になっているところまで気がつけば、あなたはもう ASF 上級者です！）。

Apache Incubator への入門方法

Apache の外部で開発されたソフトウェア（Github などで開発されている OSS を含む）がどのような手順で Incubator に入るのか、見てみましょう。

１．チャンピオンを見つける
Incubator 入りしようというプロジェクトは、ポッドリングになる前はポッドリング候補と呼ばれます。ポッドリング候補の最初の一歩は、チャンピオンを見つけることです。プロジェクトがまだポッドリング候補の段階から Incubator 入りを果たしてポッドリングになって活動し（数ヶ月のこともあれば数年のこともあります）、最後に晴れて卒業して TLP になるか、はたまた卒業叶わずリタイアするまで、あらゆる局面でプロジェクトへの助言を行ってくれるのが、頼りになるチャンピオンです。チャンピオンは ASF の幹部またはメンバーから選ぶことになります。（ASF 幹部や ASF メンバーについては前回記事を参照してください。）

２．提案書の提出
提案書を書いて Incubator の Wiki に投稿します。自由に書いて良いことになっていますが、テンプレート／サンプルがこちらのページにあります。
https://incubator.apache.org/guides/proposal.html#proposal_template

準備ができたら Incubator の general メーリングリストに [PROPOSAL] で始まるタイトルでプロジェクトの提案を行います。

３．メンターを見つける
上記提案の前にチャンピオンの助けも借りながらメンターを見つけます。また、上記提案のメール投稿内で、プロジェクトに興味を持った人をメンターに誘うことも行います。

４．投票を呼びかける
[PROPOSAL] として投稿したメールスレッドで十分皆の興味を引けて良い反応が得られそうな感触ならば、同じメーリングリストで投票を呼びかけます。通常、[VOTE] で始まるメールタイトルで、先の議論を行ったメールとは異なる新しいスレッドで投票を呼びかけます。

５．晴れて Incubator 入りへ
後述する IPMC メンバーから十分な賛成票が得られて、晴れて Incubator 入りとなります。初期コミッターの人たちは、チャンピオンやメンターの助言を得ながら、ASF の定める契約書にサインして提出します。まもなく ASF のソースコード管理システムのコミット権限が与えられますので、初期のソースコードを登録したり、<プロジェクト名>.incubator.apache.org のアドレスにプロジェクトのホームページを準備します。

Apache Incubator の構成要素

規程（主に ASF の定める諸々の手続きやソフトウェア・ライセンスなど）の遵守とコミュニティの育成を重視する ASF は、次のような組織体制でポッドリングプロジェクトをバックアップします。 まずはエンティティ（非個人の構成要素）から。

理事会（Board of Directors）

一応 Incubator を支える構成要素としては登場してくるものの、実際の活動は次に紹介する IPMC に権限を委譲しています。なのでここでは詳しく述べません。理事会自体がなんなのかは、前回記事をご覧ください。

Incubator プロジェクト管理委員会 (IPMC)

理事会に代わりポッドリングの受け入れ承認や監督を行います。つまり、ポッドリング候補段階の提案プロジェクトについて Incubator 入りを認めるかどうかの投票を行ったり、全ポッドリングプロジェクトの全体的な監督を行う責任を持ちます。さらにはポッドリングの活動が十分認められて、TLP へと「卒業」するかどうかも実質的には IPMC が投票を行うことで承認しています。「実質的」と言ったのは、表面上は後述する「スポンサー」に「卒業させたら？」と進言するまでが IPMC の役割となっていますが、メーリングリストでの動きを見ると、IPMC での投票がすべてを決しているように見えます。

やる気にあふれ、日頃から OSS 活動を行い、「Apache 流」がどんなものかを良く理解していると自他共に認める任意の個人が IPMC に入るために自薦／他薦が可能ですが、実際に加入できるかどうかはこれもやはり投票で決定されます。

また、ASF メンバーは IPMC に加入することが推奨されています。私の場合、ASF メンバーになった時点で、「IPMC に入らないといけないかなあ」と思っていたところ、Hivemall のメンターになることになりましたので、それに先だって IPMC に加入した、という流れです。ASF メンバーは IPMC に加入することが推奨されていますので、この場合は無投票で加入できます。

ポッドリング候補（Candidate）

Incubator に入ってポッドリングを目指すために提案されたプロジェクトは「ポッドリング候補（Candidate）」と呼ばれます。プロジェクトは提案時にはチャンピオンを決めておかなければなりません。また、スポンサー（後述します）が既存の Apache プロジェクトの場合、その提携関係も宣言します。スポンサーまでの関係はなくても、既存の Apache プロジェクトと何らかの関係があればそれについても述べ、その他の前提条件があればそれらについても提案書に記載します。

スポンサー（Sponsor）

「スポンサー」はその名の通り、ポッドリング候補の引受人であり、当該プロジェクトが ASF 入りするのがふさわしいと考える後援者です。スポンサーは、ASF の TLP か、IPMC か、理事会でなければなりません。いずれの場合もスポンサーは当該プロジェクトが ASF 入りがふさわしいと考えている ASF のエンティティでなければなりません。最後の理事会をスポンサーにするのはいろいろな面で難易度が高いので、実際には ASF の TLP か IPMC となるでしょう。

スポンサーはポッドリング候補がポッドリングとなれるよう、最初に承認を行い、メンターの推薦を行います。

ポッドリングプロジェクト管理委員会 (PPMC)

PPMC は当該ポッドリングのプロジェクト管理委員会であり、TLP の PMC のようにプロジェクト／コミュニティ統治の方法を学習する手助けを行います。TLP の PMC がその活動状況を理事会に報告しているのとは異なり、PPMC はレポート先が IPMC となります。これは前述の通り、理事会は Incubator に関する諸々のことは IPMC に権限を委譲しているためです。PPMC のメンバーは当該ポッドリングのメンターと初期コミッターから構成されます。

次に個人（individual）の構成要素です。

チャンピオン（Champion）

ASF の幹部かメンバーがチャンピオンとなり、プロジェクトが Incubator 入りする前から様々な支援や助言を行います。スポンサーの個人版、といったところでしょうか。

メンター（Mentor）

スポンサーによって選ばれたメンターは、ポッドリングを能動的にモニタリングし、「Apache 流」へとポッドリングを導きます。そしてその活動状況をスポンサーと IPMC へ報告します。メンターは IPMC に所属している必要があります。メンターはスポンサーや特に IPMC とポッドリングコミュニティの橋渡しを行う役割を担います。たとえば、IPMC での決定や問題になっている事項をポッドリングコミュニティに伝えたり、ポッドリングプロジェクトの状況を IPMC に報告したりします。また、ソフトウェア・ライセンスにまつわる問題の相談や、ASF のインフラ整備（メーリングリストや ASF のアカウント登録）でわからないことがあったときなどに相談窓口になったりなど、チャンピオンよりも身近な存在として振る舞います。

コミッター（Committers）

文字通りポッドリングのコミッターです。ポッドリングが候補として名乗りを上げる時点で初期コミッターを宣言します。場合によってはメンターがコミッターを兼務することもあります。コミッターはポッドリングプロジェクトのコードやドキュメントを開発する中心となりますが、メンターの助言を得ながらコミュニティを活発にするという視点で、新しいコミッターをリクルートするといった活動も推奨されています。TLP ではコミッターのリクルートは PMC が行いますが、ポッドリングでは初期コミッターが PPMC となっているので「コミッターが新コミッターをリクルートする」と書かれているものと考えられます。

Hivemall 開発者に聞く！Incubator 入りまでの道のりと今後について

弊社オフィスから近所ということもあり、実際にトレジャーデータさんへおうかがいし、Hivemall のリードコミッターである油井さんに Incubator 入りの経緯や開発状況についてお話を伺いました。

トレジャーデータ株式会社　プリンシパルエンジニア　博士（工学）　油井　誠　さん

Apache Hivemall について

関口：「Hivemall について簡単に教えていただけますか。」

油井：「Hadoopエコシステム（Hive, Spark, Pig）で動作する大規模な機械学習処理を実現できるライブラリで、 SQLを利用して機械学習を実行できる Apache の OSS プロダクトです。現在はHive以外にSpark, Pigでも動作しますが、Hiveのユーザ定義関数の仕組みを使っているため Hive MAchine Learning Libraryから頭文字をとってHivemallと名付けました。同種のML on SQLプロダクトとしてはBigQuery ML（BigQuery用）やApache Madlib（Postrges用）があります。」

Apache Incubator 加入の経緯

関口：「Apache Incubator 加入への経緯についてお聞かせください。」

油井：「もともと、HivemallをIncubatorに提案しようと思ったのは 2014年のHadoop SummitでHivemallを発表した際に、HortonworksのHive/Tez開発者に声をかけて貰ったのがきっかけです。 その際に、Incubatorに提案してみたらどうかというアドバイスを頂きました。HivemallはApache Hive, Pig, Spark上で動作するASFプロダクトと親和性の高いプロジェクトなので、チャンピオンを見つけたら問題なく、Acceptされるだろうとのことでした。」

関口：「重要なチャンピオンですが、どのように見つけましたか。」

油井：「Roman ShaposhnikがHivemallのチャンピオンですが、彼は弊社のVP of Technologyの太田の知り合いということで、太田から紹介してもらいました。太田はHadoop as a serviceスタートアップをシリコンバレーで起業していましたから業界関係者に顔が効きます。」

関口：「Roman Shaposhnikさんは ASF の理事ですね。」

油井：「はい。チャンピオンをお願いしたときは、彼は IPMC の 前Chair でした。」

関口：「メンター探しはいかがですか。」

油井：「メンターはPPMCのNTT山室君（現Spark Committer)やHadoop PMCメンバの小沢君、そして 私のHortonworksの知り合いの伝手を辿って探しました。小沢君のツテを頼ってLinkedInに技術を売り込みにプレゼンに行ったこともあります。DanielはPigのPMC chairでHivemallのPig上でのサポートをテストしていたので、私から Initial committer（=PPMC）兼、メンタとしてプロジェクトに参加をお願いしました。最終的には、Daniel（Hotornworks所属、Pig/Hadoopの主要開発者）、Reynold（Databricks所属、Sparkの主要開発者）、 Xiangrui Meng（Databricks所属のMLlibの主要開発者）、Markus（マイクロソフト所属、Apache Reefの主要開発者）の4名に 初期メンタになっていただきました。メンターは仕事の関係でASF活動を続けられなくなることもあり、興味の対象も移っていくので、 鉄は熱いうちに打てではないですが、アクティブに活動して早い段階でTLP昇格を目指すのが良いと思います。実際は、仕事の関係で途中、アクティブに活動できない期間があって間延びしてしまいました。」

関口：「では、スポンサーはいかがでしょうか。」

油井：「IPMCになって頂きました。チャンピオンのRoman Shaposhnikが前IPMC Chairでしたのでスムーズでした。 気づかないところでRomanが事前にIPMCに根回ししてくれたのかもしれません。」

関口：「実はスポンサーの実体がよくわかっていませんでした。チャンピオンがいるのに、さらにスポンサーが必要なのかという。。。」

油井：「基本的に、Incubator入りするプロジェクトはIPMCがスポンサーになることがほとんどでスポンサーに関してはそれほど気にすることではないと思います。RomanにProposalのドラフトをレビューして貰って、修正したのちIncubatorへ提案を行いました。個人的な意見ですが、通常、IPMCに所属するチャンピオンが面倒を見るので、スポンサーについてはあまり重要視されていないと思います。何よりもチャンピオンにASFのプロセスに長けた人になってもらう事が重要です。」

関口：「トレジャーデータさんが普段から OSS コミュニティ活動を行っており、それによって人のネットワークができ、そんなバックグラウンドのおかげでよいチャンピオンに恵まれてスムーズに提案からAcceptまで行けたことがわかりました。そうすると、油井さん自身は特にコミュニティに根回し的なことはしなかったのですね。」

油井：「私個人としてはチャンピオンとメンター探し、Hadoop Summit等での対外アピール以外、特に根回しはしておりません。ProposalはチャンピオンのRomanからメーリングリストに投稿して貰いました。彼からの提案ということもあり、非常にスムージに行きました。基本的にはチャンピオンさえ見つけることができ、Proposal内容がASFの他のプロジェクトと競合せず、ライセンス面の問題がなければAcceptされると思います。もちろん、プロジェクト自身が有望であることも必要です。ただし、組織横断の開発体制などは築く必要はあります。」

単にオープンソースであるだけでは企業では使いづらい〜 Apache ブランドの意味

関口：「ASF 入りして何か変わりましたか。メリットはありますか。」

油井：「メリットは、ASFプロダクトとしてのネームバリュー、開発者からの信頼です。ASFのプロダクトは『Apache 流（Apache way）』に沿った透明性のあるガバナンス、meritocracy（実力主義による開発体制）が行われているので特定企業による支配の心配も少なく、開発者から信頼されていると思います。単にオープンソースであるだけでは、知的財産の問題や保守がいつまでされるのか不明であるため企業では使いづらいし、自分でも商用製品に利用するのは躊躇します。ASFプロジェクトとしてはこれまでにApache HTTPサーバ、Tomcat、Lucene/Solr、Hadoop、Spark、Kafka等の多くの優れたソフトウェアが生まれました。Spark, KafkaもApacheの冠がなければ今ほど広く利用されることはなかったと思います。Databricksが主導するSparkや、Confluentが開発するKafkaは特定企業による企業支配色が強い問題も出てきておりますが、 Apache 流（透明性のあるプロジェクト運営や実力主義）からズレた時には適宜ASFメンバが指摘して修正しているはずです。企業としてもApacheの冠を外すことでマーケティング的なデメリットや開発者の離反があるので従うしかありません。他にもCNCFやEclipse Foundationなどもオープンソースプロジェクトが運用されていますが、ASFプロダクトほど開発者からの信任はまだ受けていないと思います。」

関口：「デメリットはありますでしょうか。」

油井：「デメリットは、良くも悪くもASFの手続き面の制約を受けるということです。 Incubatorを卒業するにはアクティブなメンターを探す事が不可欠となりますが、大企業でASFメンバーの知り合いがいる場合を除いて骨の折れる根回しが時には必要になりますし、その点は今でも苦労があります。Incubator projectには定期的にプロジェクト運営レポートを提出することも求められます。Apacheでプロジェクトを円滑に運営するために、ASFメンバーを雇用する企業（Pivotalなど）もあると聞きます。弊社のFluentdはより企業統治に関するプロジェクトガバナンスに関して制約が低く手間の少ないCNCFをインキュベーション先に選びました。」

OSS 活動の業務に占める割合は？

関口：「ASF は組織がしっかりしている分、手続き面が面倒だということはたしかにありますからね。油井さんの会社の業務と OSS 活動のバランスはとれているのでしょうか。」

油井：「当初は自分一人だったので機械学習のお客様へのコンサルティング業務をしたり、営業ミーティングへの参加など、会社の業務に多く時間を割いていました。現在、機械学習チームは私を含めて3名体制になったことで、今では他のメンバに機械学習の応用アプリケーションの開発やコンサルティング業務を担当して貰って、私自身はHivemallの開発及び、トレジャーデータでのサービス化にフォーカスする事ができております。Hivemallの開発に関して、現在の会社には様々な面で支えて貰っております。トレジャーデータのファウンダーの三人ともOSS活動には理解のある人達です。IoTサービスグループ データビジネス担当VP（元CEO）の芳川はRedhatでOSS事業経験がありますし、VPoE（元CTO）の太田はKDEの開発やHadoopユーザー会の立ち上げをした経験があります。古橋はFluentdやMessagePack、Embulk、Digdagなど多数の優れたオープンソースプロダクトを生み出した天才ハッカーです。感覚としては最大7割程度、ASFプロダクトしてのHivemallの開発に集中する事ができています。」

TLP 入りを目指して

関口：「”Community over Code”を標榜する ASF では何より、活発なコミュニティを大事にしています。Hivemallコミュニティをより活性化するにはどうすればいいでしょうか。」

油井：「Apache SparkやApache Kafkaなど、Apache Hive以外のプロダクトとの連携についても強化して行きたいと考えています。特にApache Kafkaは近年、注目度が益々上がっておりますので、KSQLへの対応などを考慮に入れています。Kafka関係のASFメンバを仲間につけると共に、こうした取り組みによりユーザの裾野を増やしていきたいと考えています。また、継続的に海外のカンファレンスなどでアピール活動を行う事で認知度を高めて行きたいと考えています。」

関口：「わかりました。私もこのような記事執筆することも含めて、Hivemallのユーザーの裾野を広げるよう可能な範囲でお手伝いできればと思います。Incubator 入りしたプロジェクトは TLP 入りに向けて『卒業』を目指すわけですが、どのようなイメージをもっていますか。」

油井：「Incubator卒業に関してはできれば2019年、遅くても2020年の3月までにはしたいです。TLP入りに関しては、Hiveの開発者から提案されたことがあるのですが、Hiveのサブプロジェクトとして卒業させるという選択肢も考えられます。しかし、Apache Spark/Pigでの実行もサポートしていることや、リリース管理の自由度から、独立したTLPプロジェクトとして卒業させたいと考えています。現在、2回目のIncubator リリースの準備をしている最中ですが、あと、来年中に1-2回程度のリリースをして、TLPへの昇格を申請したいですね。TLPに昇格した場合には、Hivemallが既存のHadoopディストリビューションやAmazon EMR/Azure HDInsightで採用される可能もありますので、そうなるように頑張っていきたいです。」

Apache Incubator 入りを目指す OSS プロジェクトへ

関口：「Incubator への提案を見ると、最近中国発の OSS が目立っています。」

油井：「China Contributionというスレッドでincubatorで議論を呼びましたが、中国のBaidu、Alibaba、Tencent、Huaweiなどを中心に多数のIncubator Proposalが提出されています。新規に提案されるIncubatorプロジェクトの過半数が中国発であるという印象で、ソフトウェアの世界もアメリカ１強ではなくなっているのかという印象を受けます（Alibaba発のRocketMQ、DubboやIoTDBなど..）。例えば、Dubboなどをみてもgithubのスター数が2万2千を超えていてApache Spark以上のスター数です。英語圏ではメジャーではなくても中国では独自のソフトウェアエコシステムがあるようです。また、韓国からは数は多くはないですが、Apache TajoなどTLP入りしたプロジェクトもあります。」

関口：「日本に目を向けると、OSS を個人で開発している人、企業で開発している OSS など、たくさんのすぐれた OSS があります。その中にはHivemallのように、Incubator 入りを目指したい個人／団体もあると思います。後に続く方に一言お願いできますか。」

油井：「世界中で使われるソフトウェアとなるためにはオープンなコミュニティ運営が不可欠で、ASF入りは考慮に入れても良い選択肢かと思います。日本からもRubyやMessagePack、Fluentd、H2O等の優れたソフトウェアが開発されておりますが、CNCF入りしたFluentdと、自らFoundationを作ったRubyを除くと、真のオープンソースソフトウェアが少ないと思います。ASFメンバーへのコネクションや英語のコミュニケーションの壁が大きいのだと思いますが、これまでにASF入りしたプロジェクトが一つもなかったのが不思議なところです。ASFのプロセスについてのノウハウや理解が十分に培われていないのが原因かと思いますので、先駆者として後続のプロジェクトでお手伝いできる事があれば協力していきたいと考えております。まずは自分のプロジェクトのTLP入りをさせる必要がありますが。」

関口：「Hadoop エコシステムを中心に、日本人のASFコミッターやPMCメンバーも徐々に増えてまいりました。今後はApacheCon Japanや、日本が難しければApacheCon Asiaなど、そんなことができればいいなと私も考えています。」

今後の目標

関口：「今後の目標、やりたいことをお聞かせください。」

油井：「近い目標としてはApache KafkaのKSQLのサポート、中・長期的には Apache Hadoopエコシステムと切り離したスタンドアロンのライブラリとして、Java/Kotlin/Scala等のプログラムからHivemallを利用できるようにしたいと考えております。スタンドアロン実行を考えているのは、Intel OptaneやWD NVMe SSDなどを通じて、テラバイト近いメモリを（仮想記憶を通じて）利用できる環境も現実的に利用できるようになってきましたので、機械学習に関しては分散から集約へ回帰していくのではないかという読みがあります。他にもNumpy/Scipyのような行列・数値計算のライブラリでJVMスタック向けで標準と呼ばれるようなものはないので、 そういったものを整備してみたいなどやりたいことはありますが、今はブレずに、まずHivemallをTLPに昇格させることに集中したいと考えております。」

実際にIncubator入りを果たした油井さんに話を聞くことで、私自身、Incubator周りのよくわからなかった細部まで理解が進みました。本稿の最後に、Roman Shaposhnikさんが紹介するApache Incubatorのスライドを参考までに掲載します。

これを読んでHivemallに興味が湧いた方は、ぜひコミュニティに参加（メーリングリスト登録）してみてください。今後の動向に要注目です！