Network System Laboratory - Backup source of JupyterHub/DockerSpawner(No. 12)

View the diff.
View the diff current.
Go to JupyterHub/DockerSpawner.
** DockerSpawner [#l39109fd]
- https://github.com/jupyterhub/dockerspawner.git
- サーバでユーザ毎に ''[[Docker]]'' でNoteBook コンテナを起動して接続．
- 作業ホームは /home/jovjan/work 固定（多分 Docker Image固定）

- see also [[SystemUserSpawner>../SystemUserSpawner]]
#br

*** Install [#v787b2b6]
 (jupyterhub) # pip --no-cache-dir install git+https://github.com/jupyterhub/dockerspawner.git
 or
 (jupyterhub) # pip install dockerspawner

*** 設定 [#i5887782]
#br


**** 設定ファイル（サンプル） [#sc0660b1]
- [[jupyterhub_config_sample.py>./jupyterhub_config.py]]
#br

*** 起動用 Docker images [#w0091afe]
- docker pull jupyterhub/singleuser
- docker pull jupyter/datascience-notebook
#br

*** 新しい起動用 Docker イメージの作り方 [#s2d1d7bf]
**** Dockerfile を使う方法 [#k4d600dc]
 # vi Dockerfile
 # cp (何処か)/start.sh .
 # docker build -t jupyter_single-test .
 # docker images

- Dockerfile
 FROM jupyterhub/singleuser
 USER root
 COPY start.sh /usr/local/bin
 RUN apt-get update \
  && apt-get install -y --no-install-recommends \
    vim \
  && apt-get -y clean \
  && rm -rf /var/lib/apt/lists/*

**** Docker commit でイメージを作ると，二重引数の問題が発生 [#t9a36c00]
- iseki でログイン時
 # docker exec -it jupyter-iseki /bin/bash
 cd /home/
 mv iseki jovyan
 mkdir student
 cd teacher/iseki
 cp ./back_orign
 cp start.sh /usr/local/bin
 exit
 # docker commit jupyter-iseki  new-image
- back_orign
  1 #!/bin/bash
  2 cp group /etc/group
  3 cp group /etc/group-
  4 cp passwd /etc/passwd
  5 cp passwd /etc/passwd-
  6 cp /etc/gshadow- /etc/gshadow
  7 cp /etc/shadow- /etc/shadow
  8 cp /etc/subgid- /etc/subgid
  9 cp /etc/subuid- /etc/subuid

**** [[start.sh（改）>./start.sh-kai]],  [[start.sh（オリジナル）>./start.sh]][#q31443f9]
- コンテナ内の /usr/local/bin/start.sh
-- コンテナ内の環境設定スクリプト
#br

*** 新しいクラスを作成する [#r7a6bb3c]

- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/dockerspawner/
-- __init__.py
-- ex.) nsldockerspawner.py
 ......
 from dockerspawner import DockerSpawner

 class NSLDockerSpawner(DockerSpawner):
 ......
 def some_func(self):
     ret = super(NSLDockerSpawner, self).some_func()
     .....
     return ret
 ......
 def start(self, *, image=None, extra_create_kwargs=None, extra_host_config=None):
     .......
     return super(NSLDockerSpawner, self).start()
#br

**** ProjectDockerSpawner [#d9dde499]
- 参考：  https://gist.github.com/marufeuille/596cf6f9e26fa6fcb7e304d5b163c7c8

   476  # refer: https://gist.github.com/marufeuille/596cf6f9e26fa6fcb7e304d5b163c7c8
   477  from dockerspawner import SystemUserSpawner
   478  from traitlets import Unicode
   479  import pwd, os, grp
   480
   481  class ProjectDockerSpawner(SystemUserSpawner):
   482
   483      dobleArguments = False
   484      #dobleArguments = True
   485
   486
   487      host_homedir_format_string = Unicode(
   488          "/home/{groupname}/{username}",
   489          config = True,
   490      )
   491
   492      image_homedir_format_string = Unicode(
   493          "/home/{groupname}/{username}",
   494          config = True,
   495      )
   496
   497
   498      @property
   499      def host_homedir(self):
   500          if (
   501              self.host_homedir_format_string is not None
   502              and self.host_homedir_format_string != ""
   503          ):
   504              homedir = self.host_homedir_format_string.format(username=self.user.name, groupname=self.get_groupname())
   505          else:
   506              import pwd
   507
   508              homedir = pwd.getpwnam(self.user.name).pw_dir
   509          return homedir
   510
   511
   512      @property
   513      def homedir(self):
   514          return self.image_homedir_format_string.format(username=self.user.name, groupname=self.get_groupname())
   515
   516
   517      def get_args(self):
   518          args = super(ProjectDockerSpawner, self).get_args()
   519          if (not self._user_set_cmd) and self.dobleArguments:
   520              args = []
   521          return args
   522
   523
   524      #def get_command(self):
   525      #    cmd = super(ProjectDockerSpawner, self).get_command()
   526      #    return cmd
   527      #
   528      #    '''
   529      #    if self._user_set_cmd:
   530      #        cmd = self.cmd
   531      #    else:
   532      #        image_info = yield self.docker("inspect_image", self.image)
   533      #        cmd = image_info["Config"]["Cmd"]
   534      #    return cmd + self.get_args()
   535      #    '''
   536
   537
   538      def template_namespace(self):
   539          d = super(ProjectDockerSpawner, self).template_namespace()
   540          if self.group_id >= 0:
   541              d['groupname'] = self.get_groupname()
   542          return d
   543
   544
   545      def get_groupname(self):
   546          gname = ''
   547          if self.group_id >= 0:
   548              gname = grp.getgrgid(self.group_id).gr_name
   549          return gname
   550
   551
   552      def get_env(self):
   553          env = super(ProjectDockerSpawner, self).get_env()
   554          if self.group_id >= 0:
   555              #env.update(NB_GID=self.group_id)
   556              import grp
   557              gname = self.get_groupname()
   558              env.update(NB_GROUP=gname)
   559          return env
   560
   561
   562      def start(self):
   563          name = self.user.name
   564          user_data = pwd.getpwnam(name)
   565          user_gid = user_data.pw_gid
   566          gid_list = os.getgrouplist(name, user_gid)
   567
   568          work_dir = self.notebook_dir
   569          self.volumes['jupyterhub-user-{username}'] = work_dir
   570
   571          for gid in gid_list:
   572              gname = grp.getgrgid(gid).gr_name
   573              if gname.startswith("project-"):
   574                  dirname = gname.replace("project-", "")
   575                  self.volumes[gname] = work_dir + '/projects/' + dirname
   576
   577          return super(ProjectDockerSpawner, self).start()

#br

**** NSLDockerSpaewner [#rdae5a79]
#br

*** Trouble Shooting [#j137c8ff]

**** 何故かイメージを変更して commit すると引数が２重になる？ （''非常に重要な問題''）[#xeab91b6]
- docker logs のでエラーメッセージ
-- [C 2021-07-11 13:52:21.786 SingleUserNotebookApp application:89] Bad config encountered during initialization: Error loading argument SingleUserNotebookApp.ip=['0.0.0.0', '0.0.0.0'], ip only accepts one value, got 2: ['0.0.0.0', '0.0.0.0']
- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/dockerspawner/dockerspawner.py L804
-- get_command() の cmd + self.get_args() で cmd に既に引数が入っている？
- 最新版 (Project用) [[jupyterhub_config.py>../SystemUserSpawner/jupyterhub_config.py]] 内で対症療法中

- ''上記の Dockerfile を使って作成すれば問題無し''
#br

**** 新しいファイルがパーミッションが無いとして，作成できない． [#z72fb1be]
- %%SystemUserSpawnar の場合は，まず現実のファイルのパーミッションをチェック%%
- コンテナ内 に入って，ファイルのパーミッションをチェック.　（力ずく！）
- start.sh の設定がダメダメだった．
-- start.sh 内でパーミッションを設定すれば OK

#br

** Hack [#gdd93e11]

*** 認証モジュール [#xecc82c3]
- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/ldapauthenticator/
- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/ltiauthenticator/
- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/jupyterhub/auth.py
#br

*** Groups毎にマウントするボリュームを変える [#wefff3af]
- https://qiita.com/marufeuille/items/62e3a842f7a039c35aac
#br

*** Users [#m3f602dc]
- 以下でやろうとしたこと（ユーザを jovyan以外する）は [[''dockerspawner.SystemUserSpawner''>../SystemUserSpawner]] を使用すれば解決するので，没．
#br

*** singleuser （コンテナ内）[#oea09b82]

**** プロセスの起動順 [#z1fe719e]
+ /opt/conda/bin/tini
+ /usr/local/bin/start-notebook.sh
+ /usr/local/bin/start-singleuser.sh
+ /usr/local/bin/start.sh

**** 最終的に起動されるプロセス [#m5367562]
- /usr/local/bin/start.sh jupyterhub-singleuser "$@"
-/usr/local/bin/start.sh jupyter lab "$@"
- /usr/local/bin/start.sh jupyter notebook "$@"

**** デフォルトの引数例 $@ [#ub51e069]
- --ip=0.0.0.0 --port=8888 --notebook-dir=/home/iseki/work --NotebookApp.default_url=/lab
#br

**** start.sh [#lb268269]
- [[start.sh（改）>./start.sh-kai]]
#br

*** Docker の起動 [#o46a3f42]
- Docker の起動コマンド
-- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/dockerspawner/dockerspawner.py
-- L804 の get_command()
#br
*** 設定ファイルから，パラメータ（引数）を渡す [#y62d4f07]
**** 下記機能の実現は環境変数によっても可能 [#da119405]
- file
 /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/jupyterhub/spawner.py
- Docker に渡す引数の制御
-- 任意のパラメータ（引数）に ''{username}'' 等を使用可能にする
 c.DockerSpawner.args = ['--username={username}']
-- self.format_string() を通すと {...} を処理してくれる．

- ''注：''[[SystemUserSpawner>../SystemUserSpawner]] が正しく動けば, コンテナ内の環境変数 NB_USER で取れるので，''以下のコード修正は不要''．
-- さらに jupyterhub_config.py 内などで新しい Class を定義してやれば，グループ名も取れる！
#br

***** code [#td63949c]

- /usr/local/anaconda/envs/jupyterhub/lib/python3.8/site-packages/jupyterhub/spawner.py
- 継承を使う方がスマート
- 1.0.0
 936         if self.debug:
 937             args.append('--debug')
 938
 939         if self.disable_user_config:
 940             args.append('--disable-user-config')
 941         # Fumi
 942         #args.extend(self.args)
 943         for arg in self.args:
 944             args.append(self.format_string(arg))
 945         return args

- 1.4.1
 --- envs/jupyterhub/lib/python3.8/site-packages/jupyterhub/spawner.py.orig     2021-07-04 23:06:38.269817910 +0900
 +++ envs/jupyterhub/lib/python3.8/site-packages/jupyterhub/spawner.py  2021-07-04 23:07:45.485894520 +0900
 @@ -1024,7 +1024,10 @@
              args.append('--debug')
          if self.disable_user_config:
              args.append('--disable-user-config')
 -        args.extend(self.args)
 +        ## Fumi Hax
 +        #args.extend(self.args)
 +        for arg in self.args:
 +            args.append(self.format_string(arg))
          return args

      def run_pre_spawn_hook(self):
« Prev Next »
Backup list of JupyterHub/DockerSpawner
Backup source of JupyterHub/DockerSpawner(No. All)
Backup source of JupyterHub/DockerSpawner (No. 12)

Site Search

Login

Sub Menu

Books

mini Calendar

Who's Online

Access Counter

Backup source of JupyterHub​/DockerSpawner (No. 12)

Site Search

Login

Sub Menu

Books

mini Calendar

Who's Online

Access Counter

Backup source of JupyterHub/DockerSpawner (No. 12)
