Programming::Lisp::Clojure

Clojure+Hadoop(Cloud) = Cloudure（第一歩）

前回のClojureでHadoopのサンプルのうち、定型処理っぽい部分をマクロにしてみました。
プロジェクト名はClojure + Cloud = Cloudureです。
名前負けしてます。まだいまいち。(ClojureもHadoopもそんな使った事ない。。)

2010/03/07 Clojarsにデプロイしました(namespaceを変えました)
2010/03/22 namespaceをam.ik.cloudureに戻しました

マクロの定義はいまのとここんな感じ。使い方は

;; Mapper、Reducerを別関数にする場合
(defn hello-map [key value context]
  (.write context (Text. key) (IntWritable. (Integet/parseInt value))))
(defn hello-reduce [key values context]
  (.write context key (IntWritable. (reduce + (map #(.get %) values)))))
(defmapreduce hello
  :mapper hello-map
  :reducer hello-reduce)

;; Mapper、Reducerもいっしょに定義する場合
(defmapreduce hello
    :mapper ([key value context] (.write context (Text. key) (IntWritable. (Integet/parseInt value))))
    :reducer ([key values context] (.write context key (IntWritable. (reduce + (map #(.get %) values))))))

前者を展開した場合、 

(do
 (gen-class
  :name
  am.ik.cloudure.core.hello.mapper
  :extends
  org.apache.hadoop.mapreduce.Mapper
  :prefix
  "hello-mapper-")
 (defn hello-mapper-map [G__2310 G__2311 G__2312 G__2313]
   (hello-map G__2311 G__2312 G__2313))
  (gen-class
   :name
   am.ik.cloudure.core.hello.reducer
   :extends
   org.apache.hadoop.mapreduce.Reducer
   :prefix
   "hello-reducer-")
  (defn hello-reducer-reduce [G__2314 G__2315 G__2316 G__2317]
    (hello-reduce G__2315 G__2316 G__2317))
  (defn get-hello-job
      ([] (get-hello-job true))
    ([set-jar?]
     (let [job (org.apache.hadoop.mapreduce.Job.)]
       (if set-jar?
           (.setJarByClass job (forName "am.ik.cloudure.core")))
       (doto
        job
        (.setMapperClass
         (forName "am.ik.cloudure.core.hello.mapper"))
        (.setReducerClass
         (forName "am.ik.cloudure.core.hello.reducer")))))
    {:tag java.lang.Class}))

後者は

(do
 (gen-class
  :name
  am.ik.cloudure.core.hello.mapper
  :extends
  org.apache.hadoop.mapreduce.Mapper
  :prefix
  "hello-mapper-")
 (defn hello-mapper-map [this key value context]
   (.write context (Text. key) (IntWritable. (parseInt value))))
  (gen-class
   :name
   am.ik.cloudure.core.hello.reducer
   :extends
   org.apache.hadoop.mapreduce.Reducer
   :prefix
   "hello-reducer-")
  (defn hello-reducer-reduce [this key values context]
    (.write context key (IntWritable. (reduce + (map #(.get %) values)))))
  (defn get-hello-job
      ([] (get-hello-job true))
    ([set-jar?]
     (let [job (org.apache.hadoop.mapreduce.Job.)]
       (if set-jar?
           (.setJarByClass job (forName "am.ik.cloudure.core")))
       (doto
        job
        (.setMapperClass
         (forName "am.ik.cloudure.core.hello.mapper"))
        (.setReducerClass
         (forName "am.ik.cloudure.core.hello.reducer")))))
    {:tag java.lang.Class}))

前回のサンプルのdefmapreduce版はこんな感じ。

まだまだですね。もっとHadoopを使って慣れながら改良していきたいと思います。

一応Cloudureを使うには、Clojarsに上げてあるので、project.cljに↓を追加すればOK

[am.ik/cloudure "0.1.0-SNAPSHOT"]

コメント・アドバイスがあれば@makingまで。

Created at : 2010-03-01 02:34:55   Updated at : 2010-03-22 05:30:54
Category : Programming::Lisp::Clojure