スキップしてメイン コンテンツに移動

KyoroText で使用されている技術 その12 AndroidでCoverageを計測したい


[課題] カバレッジを計測したい!!


基本、アプリ作成する時は、ユニットテスト(JUnitとか)を書きながら、コードを書いていきます。
動作確認しながらコードが書けるので作業がはかどります。

しかし、自分が書いたユニットテストが想定した通りのできか?うまくテストできているか?
を確認するすべはありません。

どの程度テストできているかを定量的に客観的に数値化する方法があれば、
それらを確認するすべになります。※テスト作成のど忘れとした時に、気がつくことができます!!

KyoroTextでしようとしている方法について解説します。


客観的なデータがあれば、うまく想定したとおりにテストできていることが保障できます。
保障できないにしても心の安心を得ることはできるでしょう。


[カバレッジ]
 どの程度テストができているかを計る方法として、カバレッジという表現があります。
 まずは、AndroidでCoverageをとる方法について解説します。

 #カバレッジとは何か?
  Coverageは、テストした時にどの程度の網羅性があるかを数値化します。
  具体的には、「テストできたクラスはのどのくらい?」「テストできたメソッドはどのくらい?」
 「テストできた行はどのくらい?」といった事を計測するのです。

 例えば、以下のようなコードがあったとして
 public void test(int a) {
   if(a>10) {
      --A--
   } else {
      --B--
   }
 }
 aが、11の時だけテストしたとすると、50%のテストができたといえます。
 aが、11の時と、aが10の時をテストした場合、100%のテストができたといえます。

 このように、自分が書いたコードがテストとできているかを、客観的にあらわす事ができるのです。
 これがCoverageです。


[EMMA]
 EMMAというツールを使うことで簡単にカバレッジをとる事ができます。
 EMMAはJavaのクラスファイルを書き換えます。
 すべてのif文の前後、メソッドの先頭等に、Coverageを測定するためのコードを埋め込みます。

 EMMAは単純に、埋め込んだコード上で通過した部分を記録しておき。アプリが終了するタイミングで、そのデータをストレージ上に記録します。


[EMMA Android]
 Androidには、EMMAがすでにSDKに含まれています。
 今回はそのまま、Androidに含まれている機能を使用することにしました。
 ※ 実現方法とかは機会があれば解説したいです。今回はしません。

 1. antからビルドできるようにする。
  ---> cd {ターゲットのprojectがある場所}
  ---> android.bat update project --path .
 2. テストプロジェクトともantからビルドできるようにす。
  ---> cd {ターゲットの test projectがある場所}
  ---> android update test-project -m <ターゲットのprojectの絶対パス> -p .
 3. emma用にAPKをビルドする。
  ---> cd {ターゲットのprojectがある場所}
  ---> ant emma debug install
 4 . テストプロジェクトもビルドする。
  ---> cd {ターゲットの test projectがある場所}
  ---> ant emma debug install test


後は結果がでます。

[成果物]
#サンプルのコードを書きました。
https://github.com/kyorohiro/KyoroSamples/tree/master/EmmaSample
 - runtest.sh
   テスト実施します。
 - createbuildxml.sh
   ビルド環境を作ります。

#以下のような、Coverageの結果が出力されます。
https://github.com/kyorohiro/KyoroSamples/tree/master/EmmaSample/tests/bin

[参考]
http://d.hatena.ne.jp/halts/20120201/p1
http://blog.pboos.ch/post/35269158339/android-coverage-report-for-unit-tests


[次回]
Google Playで、KyoroStressが1000ダウンロードを超えました。KyoroStressについて解説します。
Androidで、アプリが殺されるタイミングは何?殺された時、殺された後のアプリの動作は何?
といった事を解説します。

コメント

  1. 実端末で、emmaを利用したい場合は、
    android sdkのbuild.xmlを変更してください。
    具体的には

    << property name="emma.dump.file"
    value="/data/data/${tested.project.app.package}/coverage.ec"

    <<property name="emma.dump.file"
    value="/mnt/sdcard/coverage.ec"
    とかに変えると良いです。

    返信削除
  2. [補足2]
    subantで失敗するような場合は、テスト対象へのパスの設定を手動でする。

    「android update test-project」の後に生成される。
    ant.properties にパスが書かれています。
    それを編集すると良いです。
    tested.project.dir=
    となっています。
    これを削除して、
    tested.project.absolute.dir=////
    を使用して絶対パスを指定してください。

    返信削除
  3. [補足3]
    ライブラリプロジェクトのテストをする場合、ant.propertiesに以下を追加してください。
    android.library.reference.1=ライブラリへの相対パス

    ※ ライブラリプロジェクトもantでビルドできる必要があります!!

    返信削除

コメントを投稿

このブログの人気の投稿

KyoroStressの技術 -1- Low Memory Killer を意図的に発生させたい

[課題] Low Memory Killer を意図的に発生させたい Androidには、ヒープが涸渇すると使われていないアプリをKillする機能があります。 この記事では、意図的にヒープを枯渇させて、この状態をつくる方法について説明します。 単純にヒープを大量に消費するアプリを作成すれば良いように思えます。 しかし、これだけでは上手くいきません。   -A ひとつのアプリで消費できるヒープが制限されているため、ひとつのアプリで端末のヒープが涸渇している状態をつくれない。   -B ヒープを涸渇しているアプリがPFにKILLされる場合がある。 といった問題があります。 KyoroStressV2での解決方法を紹介します。 [KyoroStressでの解決方法] Kyoro Stress では、以下のような方法をとりました。 - 1. 複数のServiceを、各々異なるプロセスで起動する。 - 2. 各々Serviceで大量のヒープを消費する。 複数のプロセスを立ち上げれば、PFのヒープを枯渇させることができます。これで、(A)の問題が解決できました。 また、Bについては、「生きているプロセス」が「KILLされたプロセス」の分もヒープを消費すれば上手くいけそうです。 [BigEater(ヒープ消費サービス)の動作] KyoroStressV2で、ヒープを消費するサービスは以下のシナリオで動作しています。 - 1. 指定されたヒープを取得する。 is retry が true の時、指定されたヒープを取得できるまで、1を何度も繰り返す。 - 2. KILLされたサービスを復活させる。 is retry が true の時、Threadが死ぬまで、何度も2を繰り返す。 - 3. 終了 といった感じです。 このままでは、すべてのServiceがPFにKILLされたら上手くいかないように思うかも知れません。 しかし、時間がたつと(数秒)、PFはKILLしたServiceを再起動します。 このため、ServiceがすべてKILLされても、ヒープを大量に消費しようとする状態は保持されます。 [使い方] KyoroStressV2の操作方法…

P2P探訪 STUNでNAT越え その1

UPnPを用いて、NAT越えできました。しかし、ルータがUPnPをサポートしていなかったり。UPnPだけでは越えられないNATがあります。

本文では、その代案として前回解説できなかった。「適当なサーバーに接続してみて、相手から見えているアドレスを返してもらう方法」について解説していきます。

TCPの限界 インターネットで公開されている情報のほとんどは、TCPという通信方法でデータをやり取りされています。ですから、インターネットで情報を公開したい場合は、TCPサーバーを立ち上げる事を考える事でしょう。
 しかし、ルータがUPnPをサポートしていない場合、TCPを用いたサーバーを運用する事は困難になります。※ 基本、無理と考えもらって問題ありません。


接続相手から教えてもらう方法はどうした? 適当なサーバーに接続してみて、相手から見えているアドレスを返してもらう事で実現できないのでしょうか。前回はできそうな事を臭わせていました。しかし、TCPにおいて、これは困難です。

実際にTCPのプログラムを書き確認して見ましょう。接続相手のホストアドレスは推測できます。しかし、ポート番号を知るすべはありません。


import java.io.IOException; import java.net.Inet4Address; import java.net.ServerSocket; import java.net.Socket; import java.net.UnknownHostException; public class TCPTest { public static void main(String[] args) { TCPTest test = new TCPTest(); test.startServer(); try { Thread.sleep(3000); } catch (InterruptedException e) { e.printStackTrace(); } test.startClient(); } private Server mServer = new Server(); public void startServer() { mServer.start(); } public v…

P2P探訪 Raider その1-2 Torrentファイルフォーマット

というわけで、前回に引き続いて、この記事ではTorrentファイルについて説明します。 [Torrent file format] 前回、Bencodingを実装したのでTorremt Fileを読み込めることができるようになりました。 今回は、Torrentファイルから必要な情報を読み込む方法について解説します。 torretファイルから取得できる情報はどんなものかは、別の機会に解説します。 ここでは、torrentファイルには 2つのフォーマットがあることとデータ構造を説明します。 たとえば、「"announce"というデータが何なのか?」については解説しません。 torrentファイルでは、ダウンロード/アップロードの対象としているファイルが、ひとつの場合と複数の場合で構造がすこしだけことなります。 ひとつの時を、「single file」 複数の時を「multi file」と呼ぶことにます。 では、データ構造を紹介します。 - single file pattern bendiction benstring "announce" beninteger "creation date" bendiction "info" beninteger "length" benstring "name" beninteger "piece length" bebstring "pieces" - multi file pattern bendiction benstring "announce" beninteger "creation date" bendiction "info" benlist "files" bendiction beninteger "length" benlist "path" benstring be…